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“We Shape Our Tools, and 
Thereafter Our Tools Shape Us 


Marshall McLuhan 


Walter “Gavitt” Ferguson nació a inicios del siglo XX en la costa caribeña 
centroamericana. Ha vivido toda su vida en un pequeño pueblo llamado 
Cahuita, en el Caribe sur costarricense, donde se dedicó a escribir y cantar 
música calypsol!!. Sus canciones son un registro histórico de anécdotas. En 
la canción titulada Computer, nos cuenta su acercamiento a lo que hoy 


podríamos llamar algoritmos para la toma de decisiones. Cuenta en su 


[1] Originario de las Antillas, el calypso es característico del Caribe Americano. En Costa Rica se empezó a escuchar a partir del año 1870 
en Limón, cuando llegaron a sus costas personas de Jamaica, Barbados y Saint Kitts. Las letras del calypso se componen de rimas y 
melodías y tratan temáticas sociales y culturales. Puede consultarse aquí: 
https://radios.ucr.ac.cr/2021/05/radio-870/calypso-costarricense/ (N. de las Eds.) 
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canción que en una ocasión le asignaron una pensión. Sin embargo, 
cuando él fue a retirarla, la persona que le atendió se negó a dársela 
porque La computadora dijo que don Walter tenía mucho dinero y 
propiedades. Con el sinsabor de la situación, Ferguson escribió en el coro 
de la canción: Nobody hate the computer/Computer is a wicked talking 
parrot. (Nadie odia la computadora/La computadora es una malvada lora 
parlante)?!. 

A partir de la historia de don Walter, no podemos saber cómo influyó 
el algoritmo en el proceso de toma de decisión. Es decir, no sabemos si los 
datos sobre propiedades y dinero eran precisos, si el software estaba 
implementado adecuadamente o si la manera en que se mostraba la infor- 
mación a la persona que decidía era la correcta. El caso es que los resulta- 
dos que entregó la computadora se consideraron una verdad absoluta para 
la persona que finalmente tomó la decisión de negar la pensión a don 
Walter. 

Hoy en día las herramientas basadas en inteligencia artificial y los 
algoritmos para la toma de decisión son esa malvada lora parlante que 
moldea la forma en que vivimos. Sin embargo, hoy sabemos que mayori- 
tariamente estas herramientas están basadas en datos incompletos, 
sesgados o corruptos; que los algoritmos están añadiendo una visión este- 


reotipada de las poblaciones históricamente marginalizadas y que la 


[2] La canción de Walter Ferguson puede escucharse en: 
https://www.youtube.com/watch?v=Np22tJWZyLo (N. de las Eds.) 
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manera en la que se nos entregan los resultados consolida los sesgos y 
estereotipos, validándolos al pasar por la computadora. En pleno siglo XXI, 
tenemos certeza de que las herramientas basadas en inteligencia artificial y 
los algoritmos para la toma de decisiones son implementados con una 
perspectiva colonial, replicando sesgos estructurales e históricos, amplifi- 
cando las desigualdades sociales en el entorno digital y repercutiendo 
directamente en la calidad de vida de las personas. 

Para revertir este panorama, es necesario construir algoritmos femi- 
nistas y descoloniales, concordantes con las perspectivas de cada región 
donde serán utilizados. La Red de Investigación Feminista en Inteligencia 
Artificial, f<a+i>r, es un aporte en la ruta de moldear una sociedad más 
equitativa corrigiendo las desigualdades históricas (no solo mitigándolas). 
Este camino de construcción de nuevas herramientas tecnológicas requiere 
incorporar la perspectiva del sur global en procesos de reflexión crítica, 
innovación y experimentación, con la participación de equipos multidiscipli- 
narios. La red f<a+i>r, liderada de manera global por la organización 
Women at the Table y el Instituto Tecnológico de Costa Rica, trabaja en 
tres regiones, cada una gestionada por una organización ampliamente re- 
conocida: el Tecnológico de Monterrey en Latinoamérica y el Caribe, la 
Jordan Open Source Association en el Norte de África y Medio Oriente y la 
Universidad Chulalongkorn en el Sureste de Asia. El financiamiento del tra- 
bajo de la red proviene del Centro Internacional de Investigaciones para el 
Desarrollo (IDRC) de Canadá. 

El desafío de la red f<a+i>r es construir nuevas herramientas de 


inteligencia artificial y algoritmos para la toma de decisión, diseñadas para 
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mejorar la calidad de vida de las personas a través de cambios estructura- 
les y culturales concordantes con el siglo XXI Busca desarrollar 
herramientas que implementen los principios feministas de interseccionali- 
dad, desmantelar los sesgos, promover la rendición de cuentas y el uso in- 
clusivo, responsable y transparente del poder en los sistemas sociales y 
algorítmicos; una tecnología que al usarla inspire canciones de bondadosas 


loras parlanchinas. 
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Bajo la etiqueta de inteligencia artificial (IA), podemos englobar narrativas, 
imaginarios, ecosistemas, intereses geopolíticos, un campo de estudio, un 
conjunto de tecnologías. Representa, en esa multiplicidad, una complejidad 
de relaciones, procesos, instituciones, materialidades y maneras de ver el 
mundo que están perfilando el actual momento histórico. Por ello, es nece- 
sario prestar atención a la inteligencia artificial, puesto que son múltiples las 
fuerzas y las consecuencias asociadas con esta expresión de la moder- 
nidad en nuestra vida individual y colectiva. 

El debate sobre la inteligencia artificial ocupa las agendas mundiales. 


En el ámbito de los organismos internacionales, existe una tendencia a buscar 
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cómo resolver que la inteligencia artificial pueda utilizarse para el bienestar so- 
cial, minimizando sus riesgos y daños. En este nivel, las discusiones engloban 
diversos actores, tanto del sector público como privado, así como también de la 
sociedad civil. Sin embargo, la gobernanza y las decisiones sobre la lA se en- 
cuentran principalmente a cargo de los países industrializados, que impulsan 
sus agendas y sus intereses. 

En este escenario -y conscientes de las asimetrías en torno al desa- 
rrollo tecnológico, la producción científica y el acceso a recursos para la 
innovación- nos preguntamos sobre el papel que deben jugar los países de 
América Latina y el Caribe para impulsar políticas que nos permitan des- 
puntar regionalmente en el desarrollo científico-tecnológico con una mirada 
distintiva que atienda nuestras necesidades y responda a nuestro contexto 
étnico, cultural, racial y linguísticamente diverso. Apostar por la producción 
de conocimiento y de tecnología bajo los valores asociados con la defensa 
del común, en armonía con los derechos de los pueblos que habitan el terri- 
torio y respetando los derechos de la naturaleza, sería una apuesta por el 
futuro de la humanidad. En ese sentido, nos correspondería encarar la 
paradoja ecológica de la economía digital (Peña, 2020) que implicaría 
asumir la responsabilidad de evitar que la industria de la lA reproduzca 
violencias sistémicas a escala. (Ricaurte, 2022) 

Así, sabemos que las violencias sistémicas, asociadas con modelo 
de un mundo patriarcal, colonial y capitalista, se reproducen en los siste- 
mas inteligentes. Los prejuicios sistémicos de género, raciales, sociales, 
lingúísticos, así como de otras interseccionalidades, se encuentran en el 
centro de los actuales procesos de inteligencia artificial que surgen en el 


Norte global y que luego son replicados en el Sur global. 
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La red Red de Investigación Feminista en Inteligencia artificial, 
f<a+i>r, surge impulsada por la urgencia de combatir y corregir estos pre- 
juicios y discriminaciones asociados con la lA en todas sus dimensiones y 
en su ciclo de vida completo. A través de investigación-acción, el desarrollo 
de capacidades e innovación desde una perspectiva feminista, situada y 
anclada en las comunidades, busca ofrecer visiones alternativas al desa- 
rrollo tecnológico hegemónico. 

Esta publicación es el resultado del trabajo de la red, como parte del 
primer ciclo de trabajo de articulación y reflexión colectiva. Da cuenta de las 
exploraciones multidisciplinarias, desde diversas geografías y voces, no sin 
contradicciones, que esperamos contribuyan a ampliar la comprensión de lo 
que implica una lA feminista en todos sus procesos. Pensamos que este 
marco puede incidir en transformar positivamente las lógicas asociadas con 
los sistemas de toma de decisiones algorítmicas que automatizan la opre- 
sión. (Peña 8 Varon, 2021) Por esa razón, invitamos a las integrantes de la 
red f<a+i>r y aliadas a compartir sus investigaciones, reflexiones críticas, 
propuestas metodológicas innovadoras y visiones para promover tecno- 
logías inteligentes bajo principios feministas. 

¿Qué es la lA feminista? ¿Por qué la necesitamos?¿Cómo un abor- 
daje feminista puede provocar un cambio fundamental en la sociedad? 
¿Cómo podemos catalizar un movimiento desde el sur global que ofrezca 
alternativas para alcanzar la equidad, la justicia social y ambiental? ¿Cómo 
avanzar la agenda feminista de investigación-acción en la región? ¿Cuáles 
son las problemáticas más urgentes? Estas fueron algunas de las pregun- 


tas que sirvieron de guía para las reflexiones reunidas en este volumen. 
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Los textos buscan identificar las asimetrías de poder y las formas de 
opresión sistémica que se encuentran presentes en el campo, en los datos 
y en los modelos que se utilizan en la política social actual. Al catalizar la 
reflexion crítica y propositiva, buscamos avanzar en la agenda feminista en 
la región reuniendo visiones de mujeres de distintos países, ámbitos disci- 
plinarios y experiencias. 

El volumen se divide en tres secciones: la primera, Hacia una agen- 
da de investigación feminista en lA, reúne reflexiones e investigaciones de 
integrantes de la red f<a+i>r y aliadas. Las autoras plantean pensar crítica- 
mente las estrategias de desarrollo e inclusión, ya sea a nivel local o global. 
Abriendo este apartado, Sofía Trejo aborda la emergencia de marcos éticos 
para el desarrollo de lA con la intención de alinear el desarrollo de esta 
tecnología con el bienestar, la ética o la sustentabilidad. Desde una mirada 
crítica, plantea que si no cuestionamos nuestras visiones sobre el desarro- 
llo o el futuro, los principios éticos de la lA tienden a reforzar narrativas 
tecnológicas que asumen la universalidad de valores, ciertas visiones de 
mundo y de futuro. De esta manera se contribuye a la narrativa de que la 
tecnología, y particularmente la lA, es la herramienta que nos permitirá 
materializar todos nuestros planes y aspiraciones. 

Sofía Scasserra complejiza la discusión sobre la agenda feminista 
en la tecnología y la captura del feminismo en las narrativas de los actores 
poderosos. Problematiza el creciente interés de las grandes corporaciones 
por incluir a las mujeres en la economía digital como una estrategia para 
promover sus propios intereses económicos. Para finalizar, plantea la nece- 
sidad de desmantelar ese discurso y reapropiárselo desde el movimiento 


feminista, a fin de que la tecnología sea cada vez mas diversa e inclusiva. 
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Haciendo una crítica desde una perspectiva feminista 
latinoamericana, Wanda Muñoz abre un debate sobre las iniciativas que 
buscan presentar la inteligencia artificial (IA) como una herramienta clave 
para acelerar el cumplimiento de los Objetivos de Desarrollo Sostenible 
(ODS). Propone recomendaciones y elementos mínimos que todo proyecto 
que busque contribuir a los ODS debería incorporar y demostrar, incluyen- 
do los sistemas inteligentes. 

Virginia Brussa habla de la oportunidad de la investigación-acción 
por una agenda de lA feminista en América Latina como camino alternativo 
a las narrativas algorítmicas en disputa, planteando que los trayectos latino- 
americanos pueden servir de puntos de inflexión para problematizar por 
qué necesitamos una gobernanza y una ciencia de datos para una lA femi- 
nista y latinoamericana. 

Laura Castro y Joan López, de Fundación Karisma, presentan los 
resultados del informe Vigilando a las 'buenas madres” (Castro 4 López, 
2021) para ofrecer evidencia de que el manejo de datos puede afectar aún 
más a las mujeres en condición de pobreza. El estudio analiza cómo el 
programa de transferencias monetarias Familias en Acción afecta la 
autonomía y la dignidad de las mujeres-madres beneficiarias a través de 
una compleja red de vigilancia institucional y de estereotipos de género que 
imponen una carga diferencial sobre las mujeres en comparación con otras 
personas del hogar. En un contexto de datificación de la política asistencial 
colombiana, analizan el aumento de control social por medio de los datos a 
través de tres problemáticas principales: ¡) vigilancia; ii) punitivismo y iii) 


disciplinamiento. 
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Tatiana Revilla contrasta las estrategias de inteligencia artificial en 
seis países de América Latina y analiza la integración de elementos clave 
de la perspectiva de género (PEG). Identifica países con la integración de 
PEG como un elemento prioritario y transversal, sustentando con líneas de 
acción específicas; países que la establecen como un elemento sin un 
desarrollo tan amplio; y países que ni siquiera lo consideran como un ele- 
mento en la estrategia. Finalmente, ofrece recomendaciones generales 
para incorporar de una manera integral la PEG en las estrategias de lA en 
países latinoamericanos. 

En cuanto a experimentaciones técnicas y metodológicas, Saiph 
Savage, lvonne Muñoz y Norma Elva Chávez comparten los avances de 
una investigación en la cual usan lA para mejorar las condiciones de vida y 
laborales de las mujeres latinas. Abordando la subrepresentación de 
mujeres latinas en proyectos de ciencia ciudadana, plantean utilizar esos 
espacios como oportunidades de desarrollo profesional para esas mujeres 
valiéndose de herramientas inteligentes. 

La segunda sección presenta las versiones resumidas de los tres 
proyectos seleccionados en la primera convocatoria Incubando lA Feminis- 
ta, lanzada en 2021. Estos proyectos fueron realizados durante el primer 
semestre de 2022 por las organizaciones Derechos Digitales, Fundación 
Vía Libre y Data Género. La iniciativa Incubando lA feminista apoyará 
proyectos de investigación e innovación feminista a lo largo de tres años 
(2021-2024) con el propósito de contribuir al desarrollo de tecnologías inte- 
ligentes basadas en principios feministas y ancladas a las necesidades de 
las comunidades del sur global, particularmente en las regiones de América 


Latina y el Caribe, Sudeste Asiático, Norte de África y Medio Oriente. 
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En la tercera sección, titulada Visiones desde el sur, reunimos 
reflexiones de personas situadas en el sur global que comparten las preo- 
cupaciones y esperanzas de nuestra agenda. 

De Yásnaya Elena Aguilar, compartimos la ponencia magistral 
presentada durante el Primer Encuentro Regional del hub de América Lati- 
na y el Caribe, realizado en marzo de 2022. En la conferencia “La lengua 
como territorio cognitivo y su relación con concepciones tecnológicas”, 
Yásnaya compartió reflexiones acerca de temas urgentes para atender los 
derechos lingúísticos y culturales y relacionó la soberanía tecnológica con 
los procesos de autonomía del pueblo mixe -y de todos los pueblos. 

Tajeew Díaz Robles comparte su trayectoria como activista digital de 
lenguas indígenas y enseña esfuerzos de activistas que están tratando de ir 
contracorriente. Desde su vivencia como joven investigadora mixe, explica 
cómo las herramientas digitales pueden apoyar los esfuerzos locales y 
comunitarios para que una lengua minorizada y discriminada no muera. 

El manifiesto descolonial de la lA presenta “una provocación, una 
pregunta, una apertura, una danza acerca de un futuro descolonial de los 
sistemas de inteligencia artificial”, reflejando una visión entre muchas, 
resultado de un ejercicio colectivo coordinado por Buse Cetin, Sabelo 
Mhlambi, Paola Ricaurte, Jessica Fjeld y John C. Havens. 

Dentro del aporte de epistemologías críticas, la investigadora turca 
Raziye Buse Cetin instiga la reflexión sobre cómo la lA está profundamente 
entramada con la colonialidad del poder. La colonialidad no se restringe 
solo a las esferas políticas y económicas, sino también a los lugares de 


producción de conocimiento, percepción, sentimiento e imaginación. 
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Paola Ricaurte recalca la necesidad de analizar las asimetrías que 
hacen del desarrollo tecnológico de la lA un instrumento para la continuidad 
de la violencia a escala global. Recupera la noción de la colonialidad del 
poder para proponer una visión que articule los aspectos macro y micro- 
políticos del desarrollo tecnológico como parte de un proyecto descolonial y 
feminista, que considere las múltiples dimensiones involucradas en la 
producción de tecnologías de la lA justas para la mayoría del planeta. 

Desde Tailandia, Soraj Hongladarom, líder del hub de Sudeste de 
Asia de la red f<a+i>r, propone un abordaje de la lA y el futuro de la huma- 
nidad desde la perspectiva del budismo. En la conferencia presentada 
también en marzo de 2022, habla en torno a la urgencia de pensarnos 
colectivamente, pensar en el futuro y, sobre todo, en el papel que juega la 
IA en el futuro de la humanidad. 

Kruskaya Hidalgo, del Observatorio de Plataformas, Ecuador, aborda 
la problemática de las aplicaciones de transporte y reparto planteando refle- 
xiones feministas sobre la economía de plataformas. Aborda la complejidad 
de la interseccionalidad puesto que incluye precarización, género, 
migración, maternidad, salud, regularización, entre otros. Sus reflexiones 
apuntan la urgencia de llevar análisis feministas interseccionales a los 
debates de la gig economy, así como de disputar las narrativas y de 
visibilizar que la precarización que generan estos modelos de negocio tiene 
rostros específicos. 

Abbijae Nevers, Chennel Williams y Raquel Seville, de BlBrainz, 
Jamaica, comparten un panorama sobre los datos -o la falta de ellos- y el 


potencial de la lA en el Caribe. Ellas apuntan la necesidad de identificar los 
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sesgos sistémicos subyacentes en sus sistemas y procesos, culturas y 
datos, para poder avanzar en la agenda caribeña. 

Desde Sudáfrica, Rachel Adams da voz al esfuerzo de un colectivo 
de especialistas y consultoras y comparte el proceso de construcción del 
Índice Global para lA responsable basado en los derechos humanos. Esta 
herramienta está pensada para apoyar a una amplia gama de actores en el 
avance de las prácticas de lA ética. 

Finalmente, Laura Ación, Laura Alonso Alemany, Luciana Benotti, 
Matías Bordone, Beatriz Busaniche, Lucía González y Alexia Halvorsen, 
integrantes de la Fundación Vía Libre, nos comparten los aprendizajes de 
una serie de conversaciones organizadas durante el 2021 y que tratan la 
relación entre ética e lA. Los diálogos buscan analizar críticamente las tec- 
nologías que atraviesan nuestra vida, sin perder de vista la capacidad de 
desarrollarlas e implementarlas. El enfoque de estas conversaciones 
consistió en la búsqueda de la diversidad de voces presentes en esta área, 
desde el sur y con una perspectiva feminista por ser crítica, multidisciplinar 
e por poner en el escenario a distintos tipos de minorías en lA: mujeres. 

A partir de estas reflexiones críticas y propositivas, esperamos tener 
incidencia en el desarrollo tecnológico y en la propuesta de políticas públi- 
cas que permitan avanzar en la agenda feminista de lA en la región hacia 


futuros más justos y libres de violencia. 
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En los últimos años, gobiernos, organismos internacionales, academia, so- 
ciedad civil y sector privado han formulado un sinnúmero de principios de la 
inteligencia artificial (IA), con la intención de alinear el desarrollo de esta 
tecnología con el bienestar, la ética o la sostenibilidad. Sin embargo, pese a 
existir más de ciento sesenta propuestaslél para desarrollar lA de forma 
“ética” o “responsable”, existe poco trabajo enfocado a estudiar de forma 
crítica estos principios y la factibilidad de que estos sean utilizados para 
guiar el desarrollo tecnológico. En este sentido, los principios éticos de la lA 
se han convertido en dogmas tecnológicos que nos prometen desarrollo, 
bienestar y un mejor futuro, sin preguntarse ¿qué es el desarrollo”, 
¿bienestar para quienes y a qué costo? y si existe un consenso sobre qué 


entendemos por un mejor futuro. Como consecuencia, los principios de la 


[8] https://algorithmwatch.org/en/ai-ethics-guidelines-inventory-upgrade-2020/ 
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IA tienden a reforzar narrativas tecnológicas que asumen la universalidad 
de valores, así como de las visiones de mundo y de futuro y nutren la idea 
de que la tecnología (particularmente la lA) es la herramienta que nos 
permitirá materializar todos nuestros planes y aspiraciones. Sin embargo, 
antes de decidir si la lA podría acercarnos a un futuro más brillante valdría 
la pena dar un paso atrás y preguntarse ¿es posible usar la lA como herra- 
mienta para materializar el futuro que queremos?, ¿qué visiones del mundo 
posibilitan o dificultan estas herramientas?, ¿hasta qué punto es posible 
direccionar este fenómeno tecnológico y hacia dónde?, ¿qué agencia 
tenemos sobre estas problemáticas? y ¿qué papel juegan los feminismos 
en estas reflexiones? 

Responder estas preguntas no es una tarea sencilla, requiere de un 
análisis profundo, desde una pluralidad de perspectivas, de los diversos 
procesos involucrados en el desarrollo de esta tecnología. Estos procesos 
abarcan desde la extracción de minerales para la creación de dispositivos, 
hasta la producción de las narrativas que vinculan el progreso con la lA. En 
particular, en este texto exploraremos algunas estructuras de poder en el 
campo de la lA y la manera en la que estas se han consolidado a través de 
una estrecha relación entre la técnica y la práctica. Para ello comen- 
zaremos explorando cómo es creada la lA y qué elementos son clave en su 
diseño. 

La lA puede ser creada mediante diversas arquitecturas. La más uti- 
liada en la actualidad es llamada Aprendizaje Automático (Machine 
Learning en inglés). A grandes rasgos, podemos decir que los sistemas de 


Aprendizaje Automático aprenden a emular algún comportamiento con base 
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a ejemplos de dicho comportamiento. Estos ejemplos son presentados al 
sistema como datos. Por ejemplo, si quisiéramos crear un sistema de lA 
que clasifique imágenes de animales por especie, deberíamos mostrarle 
numerosas imágenes de ejemplares de cada una de las especies que 
queremos que aprenda a clasificar. Con base en los ejemplos, el sistema 
podía crear un modelo de clasificación utilizando los patrones y regularida- 
des de los datos que le fueron presentados en la etapa de aprendizaje 
(también conocida como de etapa de entrenamiento). 

Una vez que el sistema es entrenado, es importante saber qué tan 
bueno es para emular el comportamiento deseado. En nuestro ejemplo, 
esto equivaldría a saber qué tan bueno es el sistema para clasificar imáge- 
nes de animales por especie. Para evaluar el sistema, se le muestran datos 
que no haya visto antes (datos de evaluación) y se estudia la calidad de sus 
predicciones. Existen varias formas de evaluar el desempeño de un sistema 
de lA, la más utilizada en el campo es llamada exactitud. Podemos pensar 
en la exactitud de un sistema como el porcentaje de predicciones correctas 
que hace. Para dar una definición más formal, supongamos que los datos 
de evaluación conforman una muestra M. Entonces, la exactitud del siste- 
ma es el resultado de dividir el número de predicciones correctas que hizo 
el sistema sobre la muestra M, entre el tamaño de la muestra. Por ejemplo, 
si evaluamos nuestro sistema de clasificación de imágenes con un conjunto 
de 100 imágenes de animales y este clasifica correctamente la especie de 
80 de estas imágenes, entonces el porcentaje de predicciones correctas es 
del 80% y la exactitud 0.8. En particular, sistemas que son mejores 


emulando un comportamiento (que hagan más predicciones correctas) 
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tendrán mayor exactitud. En este sentido, es posible utilizar la exactitud 
para comparar el desempeño de diversos sistemas en tareas específicas. 
Es importante recalcar que esta no es la única forma de comparar el de- 
sempeño de los sistemas de lA, pero actualmente es la más utilizada. 

Más que una cantidad o un porcentaje, podemos pensar en la exac- 
titud como una manera de codificar qué es considerado importante para el 
desarrollo de lA y cómo se mide esa importancia. En otras palabras, esta 
métrica representa una valorización y como tal valdría la pena preguntarse 
¿qué está favoreciendo esta valorización? y ¿qué impactos tiene esta 
métrica en el desarrollo tecnológico? Pero, sobre todo, valdría la pena 
cuestionar si es posible redireccionar la tecnología mediante valorizaciones 
distintas y qué papel puede jugar el feminismo en estas intervenciones. 
Para explorar estas interrogantes comenzaremos por analizar el desarrollo 
histórico de la lA. 

Actualmente, tres factores son clave para el avance de la lA: la in- 
novación de algoritmos, los datos y la cantidad de cómputo disponible para 
el entrenamiento de los sistemas. De estos tres elementos, el mejor indica- 
dor del desempeño de los sistemas es la cantidad cómputo utilizada para 
entrenar los modelos. (Amodei 8 Hernandez, 2021) Recordemos que el in- 
dicador por excelencia para medir el desempeño es la exactitud. Esto quie- 
re decir que para poder estudiar el desarrollo de la lA en relación con el 
desempeño debemos entender la evolución del cómputo en el campo. 

Por más de seis décadas, entre 1950 y 2011, la cantidad de cómputo 
utilizada para desarrollar sistemas de lA siguió un patrón similar al de la Ley 


de Moore, duplicándose cada dos años. (Ahmed 8 Wahed, 2020) Durante 
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esta etapa, los diversos grupos de investigación utilizaban el mismo tipo de 
software y de hardware, y el equipo de cómputo tenía propósitos generales. 
(Ahmed 8 Wahed, 2020) Sin embargo, el año 2012 marcó el inicio de una 
nueva era en el desarrollo de lA. A partir de este momento la tasa de 
cómputo utilizada para entrenar modelos de lA comenzó a duplicarse cada 


3.4 meses. (Amodei 8 Hernandez, 2021) (ver Figura 1) 


Figura 1 
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Fuente: Thompson et. al, 2020. 

Este cambio drástico en la utilización de cómputo está relacionada 
con la introducción de hardware especializado para procesamiento, en par- 
ticular con el uso de Unidades de Procesamiento Gráfico (GPU, por sus si- 
glas en inglés). (Amodei 8 Hernandez, 2021) Las unidades GPU existían 


antes del 2012, pero eran utilizadas principalmente para videojuegos y ani- 
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maciones gráficas. Sin embargo, después del 2012 el hardware especiali- 
zado se convirtió en una pieza clave para el desarrollo de la lA. De hecho, 
las grandes empresas de tecnología, como Amazon, Apple, Google y Tesla, 
trabajan en el diseño de hardware especializado. (Ahmed 8 Wahed, 2020) 
En muchos casos este hardware, como las Unidades de Procesamiento 
Tensorial (TPU por sus siglas en inglés) creadas por Googlel*, son accesi- 
bles a desarrolladores trabajando fuera de estas empresas mediante la 
renta de servicios de nube (como Google Cloud). Sin embargo, el costo de 
rentar estos equipos para crear modelos grandes de lA es extremadamente 
alto, por lo que no es accesible para la mayoría de los grupos de investiga- 
ción!*1. Por lo tanto, el desarrollo de hardware especializado y de otras in- 
fraestructuras digitales ha colaborado a la creación de un oligopolio que 
controla gran parte de los recursos computacionales requeridos para crear 
sistemas de lA de alto desempeño. En otras palabras, el aumento de la 
cantidad de cómputo requerida para crear sistemas de lA ha influenciado 
significativamente el desarrollo del campo, al favorecer a un pequeño grupo 
de actores (aquellos con acceso a hardware especializado). 

Además de la aparición de hardware especializado, los cambios en 
el desarrollo de hardware para uso general también han jugado un papel 
importante en el desarrollo de la lA a nivel global. En particular entre los 60 


y la primera década de los 2000, la velocidad de procesamiento de los mi- 


[4] https://es.wikipedia.org/wiki/Unidad_de_procesamiento_tensorial 


[5] Por ejemplo, se estima que entrenar el modelo GPT-3 de procesamiento de lenguaje utilizando los servicios de nube de Tesla costaría 
más de 4.6 millones de dólares. Ver Li, C. (2020). 
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crochips de uso general se incrementó a una tasa predecible, siguiendo la 
llamada Ley de Moore. (Cowls et al., 2021) Esta ley, nombrada así por 
Gordon Moore, el cofundador de Intel, predecía que la cantidad de transis- 
tores en un microchip se duplicaría cada dos años. (Cowls et al., 2021) Co- 
mo consecuencia de que el desarrollo tecnológico siguiera dicho patrón de 
crecimiento, fue posible duplicar el desempeño del equipo de cómputo 
aproximadamente cada 18 meses, sin incrementar los costos. (Markoff, 
2015) Sin embargo, desde mediados del 2010, la tasa de crecimiento del 
desempeño de las mejores supercomputadoras se ha reducido sustancial- 
mente. (Markoff, 2015) En otras palabras, después del 2012 el desempeño 
de las computadoras de uso general dejó de incrementarse siguiendo su 
patrón histórico. Esto quiere decir que desde la primera década del los 
2000 tres fenómenos han estado ocurriendo: 1) el uso de hardware espe- 
cializado ha cobrado mayor importancia en el desarrollo de la lA; 2) el de- 
sempeño del hardware de uso general ha dejado de aumentar siguiendo la 
Ley de Moore y; 3) la cantidad de cómputo requerida para producir siste- 
mas de lA ha aumentando a una tasa sin precedentes. ¿Qué consecuen- 
cias en el campo se han derivado de esto? 

Uno de los cambios más significativos en el desarrollo de la IA en 
esta nueva etapa de la lA, post Moore y post 2012, es que los grupos de 
investigación han dejado de estar en circunstancias comparables. Esto se 
debe a que en este campo el acceso a cómputo está fuertemente ligado 
con la producción de los resultados de alto nivel, por lo que aquellos grupos 
sin acceso a hardware especializado y sin la capacidad de crear el software 


requerido para implementarlo, están en desventaja. (Ahmed 8 Wahed, 


Inteligencia Artificial Feminista 
Hacia una agenda de investigación en América Latina y el Caribe 


Entre la técnica y la práctica 


2020) En otras palabras, a partir del 2012 se abrió una brecha de cómputo 
que provocó la centralización de la producción de conocimiento sobre lA en 
grupo pequeño de actores (varios de ellos grandes empresas de tecno- 
logía) des-democratizando el campo. (Ahmed 8 Wahed, 2020) Además, 
estos cambios han generado que los grupos que actualmente producen los 
mejores sistemas de lA (basados en exactitud o en métricas relacionadas) 
lo hagan a través del uso de cantidades masivas de cómputo, lo que esen- 
cialmente significa que están comprando mejores resultados. (Schwartz et 
al., 2020) 

Como es de imaginarse, este nuevo paradigma tecnológico no ha 
afectado a todas las regiones del mundo de la misma forma. De hecho, ha 
favorecido al Norte Global y ha limitado el desarrollo tecnológico en diver- 
sas regiones del Sur. Para dar idea de la manera en la que estos cambios 
han influido la producción de conocimiento sobre |A podemos observar la 
Figura 2. Esta figura muestra el porcentaje de publicaciones (revisadas por 
pares) producidas en diversas regiones a nivel mundial. (Zhang et al., 2021) 
En particular, esta gráfica permite observar que el porcentaje de represen- 
tación de América Latina y el Caribe en el campo ha estado decreciendo, 
marginal pero constantemente, desde el 2012. De manera complementaria 
a la información presentada en la gráfica, destacamos que en las últimas 
dos décadas la participación de empresas tecnológicas (como Google y 
Facebook) en las principales conferencias de lA ha incrementado y que ac- 
tualmente estas empresas presentan aproximadamente el 30% de los tra- 


bajos en estos espacios. (Ahmed 8 Wahed, 2020) 
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Figura 2 


Porcentaje de publicaciones revisadas por pares producidas por 
regiones 


PEER-REVIEWED Al PUBLICATIONS (% of TOTAL) by REGION, 2000-19 


Source: Microsoft Academic Graph, 2020 / Chart: 2021 Al Index Report 
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Además de las problemáticas antes mencionadas, crear sistemas de 
IA tiene altos costos económicos y ambientales. Actualmente, el entrena- 
miento de un sistema de lA de última generación requiere millones de dóla- 
res. (Ahmed 8 Wahed, 2020) Por lo que desarrollar este tipo de sistemas 
está fuera del alcance de la mayoría de los grupos de investigación, parti- 


cularmente de aquellos en el Sur Global. Por otro lado, la enorme cantidad 
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de cómputo requerida para crear estos sistemas ha provocado que el en- 
trenamiento de un único sistema de lA produzca emisiones de gases inver- 
nadero comparables a las emisiones anuales combinadas de 60 automóviles! 

Como hemos observado, mejorar el desempeño de la lA (utilizando 
como parámetro principal la exactitud) ha tenido consecuencias significati- 
vas en el desarrollo del campo a nivel global. Principalmente el incremento 
de los costos e impactos ambientales asociados con el desarrollo de estos 
sistemas y en la desigualdad, sobre todo en el Norte y el Sur Global. Por lo 
tanto valdría la pena preguntarnos ¿qué ganamos con este enfoque de de- 
sarrollo? y sobre todo ¿existen otros caminos posibles? 

Por extraño que parezca, aunque la exactitud mide qué tan buenos 
son los sistemas para predecir un comportamiento, los incrementos en esta 
métrica no hacen que esta tecnología sea más inteligente. Esto es de suma 
relevancia, ya que en la actualidad gran parte de la investigación en lA está 
enfocada en a diseñar sistemas con mayor desempeño (¡.e., mayor exacti- 
tud) en pruebas específicas y en crear nuevas pruebas una vez que las 
existentes han sido superadas. (Bender et al., 2021; Schwartz et al., 2020) 
Sin embargo, existe poca claridad sobre si esta forma de desarrollar |A 
efectivamente crea sistemas con mayor inteligencia o si en realidad los re- 
sultados dependen de enormes cantidades de cómputo y datos (en otras 


palabras de la estadística). (Bender et al., 2021) Por estos motivos, algunas 


[6] Se estima que entrenar el sistema de Procesamiento de Lenguaje Natural GTP-3 generó cerca de 280,000 Kg 
de CO2. Para poner esta cifra en perspectiva, consideremos que un auto en Estados Unidos emite en 
promedio 4,600 kg de COZ2 al año, lo que significa que las emisiones producidas por el entrenamiento de ese 
sistemas de lA fueron equivalentes a las emisiones anuales de 60 automóviles. 
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expertas, entre ellas Timnit Gebru, abogan por un cambio en las metas de 
investigación que guían la lA y proponen dejar de priorizar diseñar sistemas 
con la intención de mejorar su desempeño en pruebas específicas, para 
poner énfasis en investigación que ayude a entender cómo es que las má- 
quinas superan estas pruebas. (Bender et al., 2021) En otras palabras, se 
propone redireccionar las líneas de investigación en lA para mejorar el en- 
tendimiento de la manera en la que operan los sistemas, en lugar de seguir 
produciendo sistemas más exactos cuyo funcionamiento no entendemos. 
Además de enfocar la investigación en lA en mejorar entendimiento 
de los sistemas de lA, sería interesante pensar si es posible desarrollar es- 
trategias que de manera conjunta permitan aminorar otras problemáticas 
derivadas de la excesiva importancia que el campo le ha dado a la exacti- 
tud, como el incremento de la desigualdad y de los impactos ambientales. 
Afortunadamente, el trabajo sobre lA y cambio climático podría servir como 
apoyo para proponer alternativas. En particular, estudios recientes han 
identificado la eficiencia como una métrica más adecuada que la exactitud 
para evaluar los sistemas de lA. (Cowls et al., 2021; Schwartz et al., 2020) 
Esto se debe a que medir la eficiencia significa reportar la cantidad de tra- 
bajo requerido para producir un resultado de lA. (Schwartz et al., 2020) Lo 
que incluye cuantificar el trabajo requerido para entrenar el modelo y, de 
ser aplicable, el trabajo utilizado para todos los experimentos de calibración 
(hyperparameter tuning). Algunas de las ventajas de la eficiencia sobre la 
exactitud son que esta métrica permite cuantificar impactos ambientales y 
favorece mejoras en manejo de recursos (en lugar de favorecer el uso de 
mayores cantidades de cómputo). En este sentido, la eficiencia permite 


hacer comparaciones más justas entre sistemas, ya que toma en conside- 
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ración la cantidad de recursos utilizados para crear los modelos. 

Sin embargo, definir qué se entiende por eficiencia no es una tarea 
sencilla. Esto se debe a que si queremos que esta métrica sirva para com- 
parar sistemas esta debe ser independiente del laboratorio, del tiempo y del 
hardware utilizado. Y encontrar la forma de satisfacer estos requerimientos 
de forma simultánea no es fácil. Por ejemplo, podría parecer una buena 
idea definir la eficiencia de un sistema de lA tomando en consideración la 
cantidad de emisiones de carbono generadas durante su desarrollo. El pro- 
blema con esta propuesta es que las emisiones generadas por sistemas de 
IA dependen de las emisiones de las redes eléctricas y estas varían sus- 
tancialmente dependiendo de la localidad y de los tipos de energía (eléctri- 
ca, eólica, hidráulica etc). (Cowls et al., 2021) Por lo que las emisiones de 
carbono producidas por un sistema de |A dependen del lugar en donde este 
fue desarrollado. 

Tomando en cuenta esta dependencia entre la localidad y los im- 
pactos ambientales, se podría proponer medir la eficiencia tomando en 
cuenta la cantidad de electricidad utilizada para crear cada modelo, en lu- 
gar de las emisiones de carbono. Esta propuesta tiene la ventaja de ser in- 
dependiente tanto del tiempo como de la localización. Además la mayoría 
de los GPUs reportan la cantidad de electricidad que consumen, lo que fa- 
cilita el cálculo de la cantidad de electricidad requerida para generar cada 
modelo de lA. Sin embargo esta métrica tiene un inconveniente, el consu- 
mo de energía utilizado para crear un modelo depende del hardware que se 
haya utilizado. (Schwartz et al., 2020) Por lo tanto, usar la cantidad de 
energía requerida para crear el sistema como métrica es independiente del 


tiempo y de la localización, pero no es independiente del equipo. Esto quie- 
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re decir que no es trivial encontrar nuevas métricas que permitan hacer 
comparaciones más justas entre los sistemas y que tomen en cuenta los 
impactos ambientales generados por esta tecnología, ya que estas valori- 
zaciones deberán tomar en cuenta que los sistemas de lA son producidos 
en diversas localidades que varían tanto en equipo como en infraestructu- 
ras, lo que afecta la capacidad de cómputo e impactos ambientales deriva- 
dos cada desarrollo tecnológico. 

En este sentido, definir nuevas valorizaciones que permitan guiar el 
desarrollo de la IA hacia una mayor equidad y sostenibilidad, dependerá de 
una reflexión profunda sobre qué queremos priorizar y cuál sería la mejor 
manera de hacerlo. Como hemos visto, este proceso debe estar acom- 
pañado de un entendimiento de las relaciones de poder y la manera en la 
que estas permean tanto la técnica como con la práctica. Es en estas con- 
versaciones que las perspectivas feministas y del sur global tienen mucho 
que aportar, ya que diseñar estrategias para guiar esta tecnología hacia 
nuevos horizontes requerirá conceptualizar intervenciones que permitan re- 
direccionar los diversos procesos involucrados este desarrollo tecnológico, 
tomando en consideración la manera en la que estos se interrelacionan con 
experiencias y contextos específicos. El cambio no será fácil, pero una cosa 
es clara: otros caminos son posibles. Construirlos dependerá nuestra capa- 


cidad de crear estrategias conjuntas que nos permitan caminar hacia ellos. 
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Indudablemente las nuevas tecnologías han cambiado las formas de vida 
en las últimas décadas. No solamente el surgimiento de la digitalización y 
las nuevas formas de comunicación, sino, sobre todo, los procesos de au- 
tomatización e interacción tecnológica a través de la inteligencia artificial 
(IA). Dichos procesos se han naturalizado en las sociedades, pasando de- 
sapercibidos y muchas veces, incuestionados. Pero especialistas de todo el 
mundo, sobre todo mujeres, han alzado voces respecto a los peligros que 
conllevan!”l, Decididamente el feminismo tiene mucho por hacer para que la 
brecha de género no se automatice, digitalice y naturalice a través de pro- 


cesos que interactúan en lo cotidiano y en las vidas de las personas. Así, 


[7] Como el caso de Joy Buolamwini que fundó la Liga de la Justicia Algorítmica para luchar contra los sesgos de género y raciales en los 
algoritmos. (AJL, 2016) 
https://www.ajl.org/ 
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desde el ámbito corporativo, se comenzó un “lavado de cara” a la transfor- 
mación digital mostrando la importancia de las cuestiones de género en la 
agenda tecnológica. 

Sin duda no se podía ignorar el debate y el sesgo evidente que 
surgía frente a una tecnología hegemónica que perpetuaba parámetros 
sexistas y patriarcales. En ese sentido, existe hoy más conciencia respecto 
a la importancia de una lA feminista. Pero, ¿no se estará utilizando esta 
agenda para la concentración de poder y continuar con un modelo capita- 
lista de acumulación que no tenga en cuenta a las mujeres del sur global”? 
En otras palabras: ¿debe la agenda feminista de lA seguir los parametros 
corporativos? ¿O es necesario construir nuestras propias narrativas desde 
el sur global para que la lA sea verdaderamente feminista, inclusiva y anti- 


patriarcal? 


CONTEXTO 


Es notable cómo la tecnología y las cuestiones de género comenzaron 
a tomar preponderancia en la agenda corporatival?l. Se ven programas de in- 
clusión de mujeres en programación, slogans rimbombantes dentro de las 
GAFAMIÍ?] como “el futuro es femenino”!1% e innumerables simposios y paneles 
sobre el cruce de tecnología y género como el gran igualador en la era digital. 


Lo que se oye a menudo es que “la tecnología es neutral al género y 


[8] A modo de ejemplo, el programa Getting to Equal de Accenture (Accenture, 2020) 
[9] Google, Apple, Facebook, Amazon y Microsoft. 


[10] Durante un tiempo Facebook entregaba artículos en eventos con ese slogan. 
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por ende es el gran igualador. No importa quién está del otro lado, la paga y 
las oportunidades son las mismas para todos”. Frases de este estilo son 
pronunciadas en Naciones Unidas y otras organizaciones internacionales 
como la Organización Mundial de Comercio (OMC) en pos de promover la 
agenda de negociación de la economía digitall111. 

Nunca antes las empresas y el lobby corporativo estuvieron tan inte- 
resados en temas de igualdad de género y si bien puede ser leido como 
una oportunidad en algunos términos, indudablemente tambien es un lla- 
mado de atención frente a la utilización de la agenda feminista para promo- 
ver los intereses corporativos capitalistas. Es decir, no todo está mal, lo que 
hay que hacer es analizar cada iniciativa y ver si persigue una finalidad 
feminista o es más bien un lavado de cara “rosa” para lograr promover inte- 
reses que poco tienen que ver con el feminismo y sus reclamos. Esto ya fue 
denunciado por diversos organismos internacionales como la Red del 
Tercer Mundo. (TWN, 2017) 

En este sentido, podemos ver iniciativas como la del G20 (G20, 
2020), que habla de incorporar a las mujeres al comercio electrónico para 
promover la igualdad de género. La elección del término “comercio electró- 
nico” no es casual. En efecto, la OMC ha denominado al programa de ne- 
gociación de desregulación de economía digital “comercio electrónico”, para 
hacerlo pasar como un mero tema comercial que nada tiene que ver con 


prácticas coloniales y extractivistas, escondiendo así una agenda que apa- 


[11] Para ver este tipo de argumentos, se puede visitar la página de la Semana del comercio Electrónico en UNCTAD (UNCTAD, 2019) o el 
Foro Público de la OMC (OMC, 2019) donde hay una diversidad de paneles defendiendo esta postura. 
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rentemente promueve la inclusión de mujeres en internet, pero que en el 
fondo busca generar más concentración digital y desigualdad social en los 
años por venir. Todo esto sumado al sistema multilateral de comercio que 
diseña una economía que sólo ha tenido impactos negativos en las 
mujeres. En la última Reunión Ministerial de Buenos Aires, los gobiernos 
firmaron una declaración (OMC, 2017) sobre la importancia de velar por la 
igualdad de género en el sistema comercial vigente, declaración que fue 
rechazada por más de 220 grupos feministas de todo el mundo (ALWLD, 
2018) por considerarla un “lavado rosa” para continuar empujando una 


agenda neoliberal que afecta, sobre todo, a las mujeres del sur global. 


CAPITALISMO DIGITAL 


La industria tecnológica está creciendo a pasos agigantados. El 
nuevo capitalismo digital (también denominado capitalismo de vigilancia 
(Zuboff, 2019)) está llevando a la economía capitalista a una nueva fase 
más tecno-productiva y eficiente, donde el capital tecnológico fagocita a las 
industrias tradicionales y las transforma en su formato digital para sobrevivir 
(Scasserra 4 Sai, 2020). Plataformas de intermediación, plataformas “pobres” 
y plataformas que gestionan plataformas (Srnicek, 2018), son algunas de 
las formas que adquieren estas empresas. Esta industria ha tomado el dis- 
curso feminista como bandera en muchas escenas internacionales y 
reportes. Pero la pregunta es ¿por qué ese interés? Lo cierto es que la 
industria necesita cada vez más personas trabajadoras que programen, que 
corrijan código, que puedan generar las herramientas para convertir los datos 
en información, y esa información en productos vendibles en el mercado. El 


ejército de trabajadores de Silicon Valley es enorme, pero no es suficiente. 
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Y la masiva publicidad que se hace para lograr “convencer” a más personas 
a seguir carreras relacionadas con la tecnología es realmente admirable. 
Se podría argumentar que los hombres que están en la industria son insufi- 
cientes y que incorporar más trabajadores necesariamente precisa de inclu- 
sión social. En efecto, se vislumbra que todo aquel hombre de clase media 
que puede y quiere elegir carreras tecnológicas ya lo ha hecho y que incor- 
porar más es realmente muy difícil. Sólo queda incorporar al mercado 
aquellos que no tienen posibilidad de estudiar, pero eso precisa de políticas 
públicas de largo plazo y compromisos sociales. En el medio el discurso fe- 
minista aparece como una oportunidad. ¿Será que incluir mujeres en tec- 
nología y convencerlas de que es la carrera del futuro es más barato que 
hacer inclusión? No se argumenta aquí que no se deba aprovechar la 
oportunidad para darle mejores empleos a las mujeres en el largo plazo, si- 
no que hay que ser concientes de que el altruismo capitalista de contratar 
mujeres, de capacitarlas y de incluirlas, podría no responder a un genuino 
deseo de programar lA feminista y mitigar sesgos, sino que responde a una 
necesidad de mano de obra. Es más fácil convencer mujeres de clase me- 
dia a seguir carreras tecnológicas que incorporar hombres y mujeres sin 
estudios al mercado laboral. La agenda corporativa podría estar utilizando 
la bandera feminista para llevar adelante sus propios intereses. 

En efecto, en diversos foros internacionales se vislumbra un 
mensaje feminista, pero este artículo se concentra en uno en particular: la 
Organización Mundial de Comercio, donde se están escribiendo las reglas 
de la economía capitalista digital. Tanto en el Foro Público de la OMC 
(2019), como en la Reunión Ministerial que se realiza cada dos años 


aproximadamente, como en la semana del comercio electrónico de la 
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UNCTAD!!! (2019) se organizan paneles sobre la importancia del Comercio 
Electrónico para las mujeres. El argumento de base es que la tecnología es 
neutral y por ende es el gran igualador. En efecto, al comerciar o trabajar 
por internet, no se sabe si el que está del otro lado es hombre o mujer y, 
por ende, la paga es independiente de las cuestiones de género. Se argu- 
menta entonces que la tecnología nos hará alcanzar la igualdad de remu- 
neración y de trato en el largo plazo, pero que además representa una 
oportunidad indispensable para las mujeres del sur global, que pueden 
vender sus artesanías y exportar a través de plataformas. Todos argumen- 
tos que tratan de llevar a la conclusión de que negociar una agenda de 
economía digital será beneficioso para las mujeres en el mundo. 

Cabe destacar que si bien estos argumentos pueden parecer a pri- 
mera vista certeros, son bastante faltos de evidencia y de sustento. Para 
comenzar, que una tecnología sea neutral no alcanza para que iguale. De 
ser así, la aspiradora o el lavarropa serían elementos igualadores de género, 
ya que funcionan perfectamente los enciendan quienes los enciendan. No 
obstante, la tecnología es intrínseca a la sociedad y su diseño y utilización 
son los que las hacen sexistas, no la tecnología en sí misma. (Thomas € 
Buch, 2008) Por otro lado, argumentar que la paga es igual, también es, al 
menos, cuestionable: existen estudios que demuestran que las choferes de 


UBER ganan un 7% menos que sus colegas hombres debido a la baja cali- 


112] 


Instancia que se utiliza para debatir las reglas que se negocian en la OMC. 
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ficación que reciben solo por ser mujeres (Cook et al., 2020). Podemos su- 
poner, además, que el desempeño en términos de responder consultas y 
entregar paquetes por venta de canales electrónicos podría ser levemente 
inferior en mujeres debido a que se hacen cargo mayormente de la economía 
del cuidado y, por ende, disponen de menos tiempo para estar “al servicio 
del algoritmo”. Este, entonces, podría “castigarlas” con una más baja calificación, 
menos exposición y, por consiguiente, menor volumen de ventas y, en 
consecuencia, menor ingreso. 

Finalmente, las múltiples barreras que perciben las mujeres al co- 
merciar por internet, no solo en términos de tiempo, sino también en términos 
de recursos financieros (las mujeres tienen menor acceso al crédito (Au- 
guste, 2020), de infraestructura, barreras culturales, de idioma, impositivas, de 
estándares comerciales y aduaneros, conforman una serie de limitaciones 
que hacen que no sea tan fácil exportar desde el sur global hacia los países 
más desarrollados. Puede existir alguna mujer que lo haya logrado, y normal- 
mente estos casos son resaltados y mostrados como patrones a seguir, pero 
lejos está de ser la realidad de la mayoría de las mujeres. La gran mayoría 
de las personas en el sur global utilizan estas plataformas para vender de 
forma local, sin capacidad exportadora, limitándose a ser meras usuarias 
de tecnología en lugar de configurar una economía que genere y construya 
tecnología para el desarrollo y la industrialización digital nacional. 

Cuestionados estos argumentos, nos queda por ver qué agenda 
promueven para ver si efectivamente es feminista. Se quiere utilizar a las 
mujeres como excusa para aprobar la negociación de “comercio electróni- 


co” en la OMC. Pero, ¿qué determina esta regulación? Vayamos por parte 
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en sus 5 principales artículos y que implican: 


o Libre movilidad de los datos: Este artículo determina que un go- 
bierno no puede poner limitaciones respecto a la movilidad de da- 
tos ni tener acceso a los mismos una vez que estos se almacenen 
en otro lugar fuera de las fronteras del país. Esto es importante 
porque los datos, como materia prima de la lA, pueden ser exigi- 
dos por los gobiernos para el diseño de políticas públicas o de ins- 
trumentos de gestión ciudadana para mejorar la calidad de los 
servicios públicos. 

o Almacenamiento y procesamiento de datos: establece la prohibi- 
ción de que un Estado imponga limitaciones respecto al almace- 
namiento y procesamiento de los datos. Esto es fundamental 
desde una perspectiva de desarrollo económico, ya que en esas 
dos instancias es donde se obtiene el mayor valor agregado de los 
datos, al almacenarlos y transformarlos en información que pueda 
ser un producto vendible en la economía. Un país no podría impo- 
ner restricciones a las empresas respecto a dónde almacenas los 
datos y quienes los procesan, limitando la capacidad de elaborar 
una estrategia de industrialización digital en el futuro. 

o Cero impuestos a las transferencias electrónicas: no hace falta 
decir que el comercio de bienes y servicios, hoy día, es digital. 
Desde un ebook, pasando por una película, hasta una pieza ela- 
borada con una impresora 3D, todo puede ser vendido y entregado 
por internet. Este artículo establece que no se pueden cobrar im- 


puestos por estas transacciones, limitando seriamente la ca- 
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pacidad recaudatoria de los Estados a futuro y la financiación de 
servicios públicos e inversión en infraestructura. 

o No divulgación del código fuente y algoritmos relacionados: si 
algo sabemos de la lA es que tiene sesgos, sus diseños pueden 
fallar y que pueden estar incumpliendo normas o tener conflicto 
con derechos fundamentales, entre otros peligros. Preservar la ca- 
pacidad de auditarlos es fundamental. Este principio busca prohibir 
cualquier tipo de auditoría de los algoritmos a futuro. Tan cuestio- 
nada es esta norma que se han puesto cada vez más excepciones 
a la misma. (Smith, 2017) No obstante, se insiste con preservarla 
aun sabiendo las nefastas consecuencias que puede tener en un 
futuro en nuestras sociedades. 

o Protección de datos personales: el acuerdo no establece están- 
dares mínimos obligatorios, sino que insta a los países a trabajar, 
informar y cooperar en esta agenda, pero no mucho más que eso, 
dejando libre a cada país para establecer sus propios estándares. 
Es decir, cuando se habla de desarrollo, limitan la acción estatal, y 


cuando se habla de privacidad, dejan libre albedrío. 


Como puede verse, la agenda no tiene como objetivo hacer tecno- 
logías diversas e inclusivas ni tiene la agenda feminista en mente, sino más 
bien desarrolla una serie de medidas tendientes a desregular la materia 
prima de la lA, permitiendo a las grandes corporaciones producir a su gusto 
la tecnología, limitando la capacidad regulatoria de los Estados y, por ende, 
concentrando aun más la producción tecnológica en manos de unos pocos. 


Las consecuencias en términos de profundización del sistema capitalista 
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hacia un capitalismo tecno-eficiente y más concentrado son evidentemente 
nocivas para las mujeres, sobre todo en el sur global. En efecto, se utiliza el 
discurso feminista para impulsar una agenda que nada tiene que ver con la 
inclusión y la igualdad, sino con la concentración y la ganancia por sobre la 
gente. Una superestructura que podría llegar a beneficiar a algunas muje- 
res en el norte global, vis a vis millones de mujeres en el sur global, cada 
vez con peores salarios, con mayores brechas digitales, sin acceso a los 
servicios públicos de calidad y sin posibilidad de insertarse en los empleos 


del mañana. 


Conclusiones 


La utilización del feminismo por parte del capitalismo digital para 
profundizar un modelo económico es notoria. Desde el feminismo se debe 
tomar nota de esta situación, evidenciar mediante investigación académica 
y fomentar un cambio discursivo que lleve a una inclusión genuina de todas 
las personas a fin de tener una economía digital mas diversa, plural, inclu- 
siva y feminista. Evidentemente la concentración de materia prima (datos), 
de ganancias a través del no pago de impuestos y de poder al mantener el 
secreto algorítmico, solo puede llevar a sociedades más desiguales y anti- 
democráticas. 

En este sentido, resulta trascendental trabajar en una lA sin sesgos 
y en principio éticos fundamentales, pero sigue siendo fundamental mirar la 
superestructura normativa supranacional que se está negociando actual- 
mente a fin de que no se impongan limitaciones a la capacidad estatal de 


intervenir la tecnología en favor de los pueblos, como poderosas herra- 
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mientas para transformar la sociedad. La tecnodiversidad teniendo en 
cuenta la diversidad cultural no es solamente un deseo con el que soñar, es 
fundamental para las democracias y las economías del mundo, si se quiere 


soñar con un mañana mejor. 
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RECOMENDACIONES 


Por todo lo anteriormente dicho es que resulta fundamental: 


o Investigar la utilización del feminismo para implementar y profundizar 


un sistema de capitalismo digital tecno-eficiente 


o Promover el debate y concientizar de que no se firmen estos 


acuerdos a instancias supra nacionales 


o Promover el debate regulatorio a nivel nacional antes de que se 


aprueben estas nocivas normativas internacionales 


o Investigar los cruces entre comercio de datos-desarrollos tecnologi- 
cos y género que sirvan como argumentos para deterner la utilización 


del discurso feminista en estos espacios 


o Demostrar la importancia de mantener la capacidad de auditar algo- 
ritmos cuestionando, sobre todo, la propiedad intelectual de los mis- 


mos, buscando que respeten derechos fundamentales en la sociedad 
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El más reciente auge de la inteligencia artificial ha venido acompañado del 
desarrollo de diferentes iniciativas y proyectos que afirman utilizar inteli- 
gencia artificial (IA) para acelerar el cumplimiento de los Objetivos de De- 
sarrollo Sostenible (ODS) en el marco de la Agenda 2030. (UNESCO, s.f.) 
Sin embargo, existen proyectos que se autodenominan como “lA para los 
ODS” o “lA para el bienestar social” cuando en realidad no cumplen con 
criterios reconocidos internacionalmente como indispensables para imple- 
mentar dicha agenda; por ejemplo, una perspectiva transversal de género o 
un monitoreo basado en indicadores de derechos humanos que permitan 


evaluar de manera objetiva y verificable su impacto. De acuerdo con el 


[13] 


Con agradecimiento sincero a Paola Ricaurte, Mariana Díaz Figueroa y Christian Lemaitre por sus comentarios al primer borrador de 
este texto. 
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informe del Global Partnership on Artificial Intelligence - GPAIM4l realizado 
por The Future Society (2021): 


Muchas iniciativas dentro del ecosistema de lA 
responsable tienen métricas poco claras para 
monitorear el progreso... estas carecen también de 
metodologías sólidas para evaluar su impacto. Esto 
dificulta evaluar su desempeño, en particular cuando 
se trata de avanzar en el progreso hacia los ODS de 
la ONU. (The Future Society, 2021) 


Este artículo explorará dos preguntas: 

1. ¿Cuáles son los criterios fundamentales que deberían 
considerarse para evaluar si un sistema o aplicación de |A contribuye 
de manera efectiva y comprobable a los ODS? 

2. ¿Qué elementos de análisis nos aporta un abordaje 


feminista de este tema? 


Es importante reflexionar sobre estas cuestiones para adoptar una 
mirada crítica de los discursos sobre aplicaciones de inteligencia artificial 


que, de manera intencional o no intencional, pueden en realidad replicar 


[14] 


The Global Partnership on Artificial Intelligence (GPAI). La Alianza Global sobre Inteligencia Artificial es una iniciativa internacional y de 
múltiples partes interesadas que tiene como objetivo promover el desarrollo y el uso responsable y centrado en el ser humano de la 
inteligencia artificial. https://gpai.ai/ (N. de las Eds.) 
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modelos de dominación y sistemas de opresión dentro de un mismo país, o 
a nivel internacional; inclusive si se denominan a sí mismos “lA para el bie- 
nestar social”. 

Asimismo, es fundamental cuestionar si los enormes recursos que 
hoy se destinan a la inteligencia artificial “para los ODS” son efectivamente 
la manera más eficaz de contribuir a su cumplimiento. (IDC, 2022) Sería 
fundamental contar con estudios comparativos que evalúen si los miles de 
millones que se invierten (o en algunos casos, malgastan) en inteligencia 
artificial son la forma más pertinente, eficaz, eficiente, sostenible y con 
mayor impacto (OCDE, 2019) de cumplir con la Agenda 2030; en particular 
si se compara con la alternativa de destinar esos mismos recursos a las 
organizaciones de base que hoy en día enfrentan enormes dificultades para 
acceder a los medios necesarios para implementar sus propios proyectos, 


diseñados localmente. 


1. Un análisis feminista de los impactos diferenciados de la util- 


ización de la inteligencia artificial 


De acuerdo con la UNESCO (2021), la inteligencia artificial puede 
definirse como aquellos “sistemas tecnológicos con capacidades de proce- 
sar información de una manera que se asemeje a un comportamiento inte- 
ligente, y abarca generalmente aspectos de razonamiento, aprendizaje, 
percepción, predicción, planificación o control”. Entre los desafíos, se reco- 
nocen diferentes riesgos y afectaciones que son cada vez más identificados 


y denunciados, en particular desde la sociedad civil y la academia. 
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Tomemos como base la definición de Márgara Millán (2019), que 


dice que hoy los feminismos son 


(...) algo más parecido a una plataforma 
antisistémica de lucha contra la violencia, que 
reconoce que la situación diversa de las mujeres y 
sus distintas opresiones y violencias están 
contenidas en una estructura capitalista, colonial y 
patriarcal. Y que son esas estructuras las que hay 
que transformar (...) 


Si analizamos los riesgos y afectaciones de la inteligencia artificial 
desde esa perspectiva, veremos que estos no tienen un impacto similar a 
nivel global, ni entre los grupos poblaciones que enfrentan esas distintas 


opresiones y violencias. Por ejemplo: 


1. Los sesgos en sistemas de inteligencia artificial tienen un im- 
pacto negativo desproporcionado en grupos históricamente vulne- 
rados, en particular mujeres y personas racializadas, como lo han 
demostrado Dr. Joy Buolamwini, Dr. Timnit Gebru e Inioluwa De- 
borah Raji. (Buolamwini € Gebru, s. f.; Gebru, 2020; Hao, 2020) 
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2. La militarización de la inteligencia artificial tendría un impacto 
desproporcionado en el sur Global, países en conflicto y grupos 
históricamente marginados; como lo han hecho otras nuevas tec- 
nologías para uso militarl*51. 

3. Las deepfakes, además de un posible riesgo a la seguridad in- 
ternacional, ya están siendo utilizados para cometer violencia de 
género en línea. (Venema, 2020) 

4. La utilización de reconocimiento facial facilitado por inteligencia 
artificial para fortalecer la vigilancia policial se está utilizando 
contra la sociedad civil organizada, incluyendo organizaciones fe- 
ministas que protestan contra el feminicidio y otras formas de vio- 
lencia de género. (Pérez Villoro 8 Robles, 2020). 

5. La amplificación de desinformación masiva puede fungir impu- 
nemente como facilitador de genocidio por su amplificación de 
discursos de odio, como en el caso del conflicto actual en Etiopía. 
(Mwai, 2021) 

6. La falta de transparencia, rendición de cuentas y reparación del 
daño en su uso por la toma de decisiones en política pública afec- 
ta en su mayoría a grupos marginados. (Engler, 2021; Scheneider, 
2020; Ledford, 2019) 


[15] Cf. The Republic of Costa Rica, the Republic of Panama, the Republic of Peru, the Republic of the Philippines, the Republic of Sierra 
Leone and the Eastern Republic of Uruguay. (s. f.). [Documento de trabajo conjunto.] https://documents.unoda.org/wp- 
content/uploads/2021/06/Costa-Rica-Panama-Peru-the-Philippines-Sierra-Leone-and-Uruguay.pdf 
Muñoz, W. 8 Díaz, M. (2021). The risks of autonomous weapons: an intersectional analysis. Seguridad Humana en Latinoamérica y el 
Caribe. https://bit.ly/SehlacAWSBias 
Austrian Ministry for European and International Affairs. (2021). Safeguarding human control over autonomous weapons systems. 
https://bit.ly/LAWSVienna 
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7. Existen empresas que utilizan mano de obra en condiciones de 
empleos no dignas, en campos de refugiados y zonas periurbanas 
en situación de pobreza, para etiquetar imágenes utilizadas en lA. 
(Jones, 2021) 


Un análisis feminista nos permite entonces identificar esta clara ten- 
dencia: las consecuencias negativas impactan de manera desproporciona- 
da a grupos marginalizados, especialmente del sur global; esto, al mismo 
tiempo que una gran parte de quienes producen la inteligencia artificial 
mantiene que no es necesaria ninguna regulación, pues alegan que esto 
impediría la innovación y limitaría la competitividad. Ante este panorama, 
constatamos que la inteligencia artificial puede contribuir a mantener una 
desigualdad que fortalece las estructuras actuales de poder y reproduce los 
sistemas de opresión históricos, si no se toman medidas específicas para 
evitarlo. 

Ahora bien, en los últimos años, a nivel internacional se han desa- 
rrollado tendencias y narrativas que buscan promover la utilización de inte- 
ligencia artificial como acelerador de los Objetivos de Desarrollo Sostenible. 
Ejemplos de estas iniciativas incluyen Al for Goodl*8l, SDG Al LABÍ?71, |R- 
CAI y Global Partnership for Artificial Intelligence!*8l, cuya misión es especí- 
ficamente “apoyar el desarrollo y uso de inteligencia artificial tomando como 


base los derechos humanos, la inclusión, la diversidad, la innovación y el 


[16] https://ai4good.org/ai-for-sdgs/ 
[17] https://sdgailab.org/ 


[118] https://ircai.org 
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crecimiento económico, buscando responder a los Objetivos de Desarrollo 
Sostenible de Naciones Unidas”. (Benjio 8 Chatila, 2020) Estas iniciativas 
tienen en común el objetivo de buscar documentar y promover el uso de in- 
teligencia artificial en sectores específicos vinculados con los ODS, como el 
cambio climático y la biodiversidad, la educación y el empleo, e incluyen 
frecuentemente proyectos desarrollados —al menos en parte— en el norte 
global, e implementados en el sur global. En otras palabras, estamos ha- 
blando de proyectos de cooperación internacional. 

En este contexto, como lo afirman Vinuesa et al. (2019), un desafío 
importante de los desarrollos basados en inteligencia artificial es que se 
basan principalmente en las necesidades y los valores de aquellos países 
en que se desarrolla la lA. De ahí la importancia de identificar, visibilizar, 
documentar, sistematizar, financiar e impulsar a las iniciativas de este tipo 
que son desarrolladas en los países del sur globall1?1. 

Por otra parte, si bien la cooperación internacional y multilateral ha 
acordado principios y metodologías para implementar dicha cooperación de 
manera pertinente, eficaz, eficiente, sostenible y con impacto claramente 
documentado, las organizaciones e instituciones que desarrollan inteligen- 
cia artificial no necesariamente conocen y trabajan con esas metodologías. 
Esto es tan sorprendente como inaceptable: para contribuir al cumplimiento 


de los ODS, la respuesta no puede limitarse a desarrollar una aplicación de 


[19] Ver por ejemplo, en el caso de México, esta sesión sobre Inteligencia Artificial y Objetivos de Desarrollo Sostenible realizada en el 
marco de la Reunión Internacional de Inteligencia Artificial y sus Aplicaciones (RIIAA) en 2022: 


https://www.youtube.com/watch?v=fL¡SMdo5Wik 
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IA en un sector como salud o empleo; o identificar como “beneficiarios”1201 a 
personas con discapacidad o mujeres en situación de pobreza. Examinare- 


mos esto en mayor detalle en el siguiente apartado. 


2. El bienestar social no se improvisa: medidas necesarias para 
garantizar que las aplicaciones de inteligencia artificial realmente con- 
tribuyan al cumplimiento de los ODS 


Es innegable que la inteligencia artificial puede tener un impacto po- 
sitivo en diferentes sectores y beneficiar a personas en situación de vulne- 


rabilidad y marginación!?11. Sin embargo, de acuerdo con Vinuesa et al., 


la gran riqueza impulsada por la tecnología que la 
inteligencia artificial tiene el potencial de crear puede 
ir principalmente hacia quienes ya tienen mayor 
educación y bienestar; mientras que el 
desplazamiento laboral deja a otras personas en 
peor situación. La creciente importancia económica 
de la lA puede resultar en un aumento de 
desigualdades debidas a la desigual distribución de 


[20] Ha habido un cuestionamiento del término “beneficiarios” pues se considera que lleva una connotación paternalista que considera a las 
personas que participan en los proyectos como recipientes pasivos de ayuda internacional. 


[211 Para ejemplos concretos, ver por ejemplo: The Future Society (2020). Areas for future action in the responsible Al ecosystem. Section 
2.2 Shortlisted Initiatives. https://gpai.ai/projects/responsible-ai/areas-for-future-action-in-responsible-ai.pdf 


Inteligencia Artificial Feminista 
Hacia una agenda de investigación en América Latina y el Caribe 


Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: 
crítica desde una perspectiva feminista latinoamericana 


la educación y de los recursos informáticos en todo 
el mundo. (2020, p.6) 
Amina Mohamed, Vice Secretaria de Naciones Unidas, lo ha 


expresado también: 


Por un lado, la inteligencia artificial puede permitir un 
progreso más rápido en muchos de los Objetivos de 
Desarrollo Sostenible a través de soluciones 
innovadoras, un uso más eficiente de los recursos y 
una mejor toma de decisiones a través del análisis 
de big data. Por otro lado, puede perpetuar sesgos y 
desigualdades; o incluso usarse intencionalmente 
para violar los derechos humanos y desarrollar 
aplicaciones que perjudiquen a individuos y 
sociedades. (UN, 2020) 


¿Qué nos señalan estas afirmaciones? Nuevamente encontramos 
que los riesgos, daños y beneficios de la inteligencia artificial no están re- 
partidos de manera igualitaria: afectan más a quienes ya están marginali- 
zados por la pobreza y sistemas históricos de opresión como el racismo, el 
sexismo, el colonialismo y el capacitismo. 

Cualquier proyecto que no tome medidas específicas para visibilizar 
y responder a esta discriminación sistémica, contribuirá a fortalecerla. Y en 
el caso de la inteligencia artificial, si no se toman estas medidas, las conse- 


cuencias pueden ser todavía más graves por el alcance y la velocidad con 
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las que sus aplicaciones se producen y reproducen; así como por los 
montos económicos extraordinarios que se están utilizando para dichos 
sistemas se desarrollen e implementen sin que existan estudios comparati- 
vos que demuestren que ese es el uso más eficaz de esos recursos. 

¿Qué medidas son las que deben tomarse? Las metodologías exito- 
sas —por ejemplo, las políticas que buscan garantizar la igualdad de géne- 
ro y el acceso a derechos de personas con discapacidad— aplicadas a 
diferentes sectores se basan en un enfoque “de doble vía” que busca, por 
un lado, implementar acciones específicas para fomentar la autonomía, 
capacidades y conocimientos de derechos por parte de las personas perte- 
necientes a grupos vulnerados; y por otro, tomar medidas específicas para 
que los proyectos, servicios, programas y políticas públicas sean realmente 
inclusivos y respondan a las prioridades de todos y todasl?22l. Esto se 
fundamenta, también, en el principio de la Agenda 2030 “No dejar a nadie 
atrás”. (G5NUDS, 2020) 


A partir, entonces, de dos elementos: 


1. Una perspectiva feminista que nos permita reconocer que la inteli- 
gencia artificial replica y amplifica sesgos y afectaciones de manera 


desproporcionada contra grupos marginalizados y el sur global, 


[22] Sobre el enfoque de doble vía, conferir Naciones Unidas. (s. f.). Estrategia de las Naciones Unidas para la inclusión de la 
discapacidad. 
https://www.un.org/es/content/disabilitystrategy/ 
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2. Constatar que de acuerdo con metodologías bien establecidas y 
reconocidas internacionalmente, es necesario tomar acciones es- 
pecíficas para contribuir a los ODS bajo el principio de “No dejar a 
nadie atrás”, se propone que todo proyecto con aplicaciones de inteli- 
gencia artificial que afirme tener como objetivo contribuir al bienestar 
social o a los ODS debe cumplir, monitorear e informar sobre los si- 


guientes estándares mínimos: 


1. Establecer alianzas formales con organizaciones repre- 
sentativas de los grupos que se busca beneficiar. Dicha 
alianzas (no solo consultas) son esenciales desde una pers- 
pectiva de derechos humanos y para garantizar la relevancia, 
aceptabilidad, utilidad y sostenibilidad de cualquier proyecto, 
incluyendo aquellos que involucran aplicaciones de inteligencia 
artificial. 

2. Mapear las causas del problema que se busca resolver, 
y las causas subyacentes (o “causas raíz”). Este mapeo (fre- 
cuentemente realizado en la forma de “árbol de problemas”)!231 
debe ser realizado con diversos actores incluyendo a las per- 
sonas que se quiere beneficiar. El objetivo es entender bien la 
problemática y las soluciones que se requieren para responder 


a ella; y dentro de ese amplio panorama, identificar con mayor 


[23] Para saber más sobre esta metodología, cf.: CONEVAL. Boletín de Monitoreo: Elaboración de árbol de problemas y árbol de objetivos. 
https://www.coneval.org.mx/Informes/boletin_coneval/boletin_monitoreo_01_2013/nota3.html 
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[24] 


precisión si se requiere o no una solución que involucre lA; 
además de cómo vincular con otras iniciativas y actores 
que ya están buscando responder a los mismos problemas. 
Es fundamental que este sea un análisis realizado de ma- 
nera profesional y con los actores relevantes de sociedad 
civil y autoridades responsables, de manera que se analice 
honestamente si realmente es necesaria una aplicación de 
lA, a quién beneficiaría y a quién afectaría su utilización y si 
los recursos disponibles tendrían mayor impacto y sosteni- 
bilidad siendo destinados a otros programas.!241 

3. Aplicar un enfoque de derechos humanos. Este ele- 
mento involucra acciones en diferentes aspectos; se resal- 
tan dos elementos fundamentales (UNSDG, 2003): 


a. La narrativa y documentación del proyecto identifica 
claramente los derechos humanos relacionados con la 
temática que se trabaja en instrumentos jurídicamente 
vinculantes a nivel nacional e internacional, y se busca 
cumplir con sus principios en la práctica; 


Con ello se busca prevenir situaciones como esta: en 2012 se realizaron consultas en comunidades camboyanas en situación de 
extrema pobreza para determinar qué sectores identificaban como prioridades para recibir inversión extranjera de una organización 
multilateral. Al contrastar con sorpresa que todas nombran a las autopistas como prioridad número uno e inquirir al respecto, líderes 
comunitarios respondieron que se habían puesto de acuerdo con antelación ya que la institución cooperante solo financiaría 
infraestructura de ese tipo. Es decir, si realmente hubiera indicado sus prioridades —salud materno-infantil, prevención de la 
desnutrición, drenaje en los hogares y educación de calidad- no hubieran recibido apoyo. Esto es un ejemplo de donantes que buscan 
imponer sus agendas, no realmente apoyar a las comunidades en sus propios procesos y proyectos. Fuente: Experiencia propia de la 
autora. 


Inteligencia Artificial Feminista 
Hacia una agenda de investigación en América Latina y el Caribe 


Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: 
crítica desde una perspectiva feminista latinoamericana 


b. Se identifica y menciona explícitamente quiénes son 
titulares de derechos y de obligaciones del sector en el 
que se está trabajando. 


4. Vincular con la Agenda 2030 a nivel nacional/local. 
Los proyectos que incorporen lA con el objetivo de contri- 
buir a los ODS deben estar articulados con las instancias 
responsables de implementar y monitorear dicha agenda 
en diferentes sectores. Esto, con el fin de garantizar que 
dichos proyectos realmente respondan a las prioridades a 
nivel nacional, que están coordinados con otras instancias 
e iniciativas para responder a los mismos desafíos y que 
sus resultados se contabilizan de acuerdo con las metas e 
indicadores establecidos en cada país. 

5. Planificar, diseñar, implementar, monitorear y evaluar 
los proyectos que utilizan sistemas de lA con las organiza- 
ciones representativas de los grupos que se busca 
beneficiar. 

6. Incluir indicadores de derechos humanos en sus pla- 
nes de monitoreo y evaluación. Dichos indicadores deben 
de ser definidos y acordados sobre la base de derechos 


humanos y de manera participativa. (ACNUDH, 2012) 
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7. Aplicar una perspectiva de género, como lo requiere, 
también, la Recomendación de la Ética en Inteligencia 
Artificial de la UNESCO (UNESCO, 2021) e interseccional- 
idad!?81 que involucre, de acuerdo con el enfoque de doble 
vía: 


a. Tomar iniciativas específicas para garantizar que 
mujeres, personas de diferente orientaciones sexuales 
e identidades de género, diferentes grupos etarios y 
otras características conozcan sus derechos y tengan la 
información, recursos y habilidades necesarias para 
beneficiar del proyecto con aplicaciones de lA. 

b. Asegurarse de que todas las iniciativas, actividades, 
sistemas del proyecto que incluye lA son diseñadas, 
implementadas y evaluadas con la participación de mu- 
jeres, personas de diferentes orientaciones sexuales e 
identidades de género y otras características diversas, y 
tomando en consideración sus prioridades. 


Entre las organizaciones representativas se encuentran las 
de mujeres, personas con discapacidad, afrodescendi- 
entes, pueblos originarios, migrantes, personas viviendo 


con VIH, personas con diversas orientaciones sexuales e 


[25] Término acuñado por Kimberly Crenshaw. Sobre interseccionalidad, ver por ejemplo: Asociación para los Derechos de la Mujer y el 
Desarrollo. (2004). Interseccionalidad: una herramienta para la justicia de género y la justicia económica. Derechos de las mujeres y 
cambio económico, Núm. 9. 
https://www.awid.org/sites/default/files/atoms/files/nterseccionalidad__una_herramienta_para_la_justicia_de_genero_y_la_justicia_econ 
omica.pdf 
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identidades de género, víctimas de conflictos y poblaciones 
zonas rurales y remotas, entre otras. 

8. Desarrollar un plan de sostenibilidad que incorpore 
acciones y designe recursos específicos a lo largo del 
proyecto con el objetivo de garantizar que este podrá con- 
tinuar después de la intervención externa, o al menos 
quedarán habilidades y recursos instalados para evitar que 
se cree dependencia del apoyo externo. Esto puede incluir 
el desarrollo de capacidades de los actores locales para 
implementar un proyecto similar y apoyo para identificar 
recursos económicos para su continuación, incluyendo la 
movilización de recursos nacionales. Esto es fundamental 
para diferenciarse de proyectos con aplicaciones de lA 
autollamados “para el bienestar social” cuyo objetivo prin- 
cipal es en realidad buscan comercializar sus propios pro- 
ductos en el sur global y fomentar una dependencia de 
productos del exterior. 

9. Analizar el impacto en el medio ambiente y tomar me- 
didas para mitigarlo. 

10. Establecer medidas de salvaguardia y protección 
con el objetivo de proteger a la población beneficiaria de 
posible acoso y abuso sexual. (OXFAM, s.f; CARE, 2022) 
11. Repartir los recursos de forma equitativa de tal ma- 
nera que se reconozcan también económicamente las con- 
tribuciones del sur global y sus organizaciones. De no 


hacerlo, se perpetúa la desigualdad al mantener a quienes 
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participan en los proyectos como simples “beneficiarios”, 
mientras la mayor parte de los recursos e ingresos de di- 


chos proyectos se mantienen en el norte global. 


Por otra parte, considerando que algunos proyectos con aplicaciones 
de “inteligencia artificial para el bienestar social” provienen del norte global 
(donde se produce la mayor parte de la tecnología) y se implementan en 
sur global (donde se implementan los proyectos), conviene también analizar 
la temática desde una perspectiva de política exterior feminista. 

De acuerdo con el Centro de Política Exterior Feminista (CFFP, 
2022) una política exterior feminista puede definirse como “un marco políti- 
co centrado en el bienestar de las personas marginadas que busca lanzar 
procesos de autorreflexión con respecto a los sistemas globales jerárquicos 
de política exterior desde el punto de vista de grupos históricamente margi- 
nados.” Este mismo Centro afirma que una política exterior feminista 


permite: 


elevar las experiencias y la agencia de las mujeres 
y los grupos marginalizados para examinar las 
fuerzas destructivas del patriarcado, la coloniza- 
ción, la heteronormatividad, el capitalismo, el ra- 
cismo, el imperialismo y el militarismo. Un enfoque 
feminista de la política exterior proporciona una 
lente poderosa a través de la cual podemos inter- 
rogar los violentos sistemas globales de poder que 
dejan a millones de personas en estados perpetu- 
os de vulnerabilidad. (CFFP, 2022) 
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Desde esta perspectiva, podemos cuestionar las prioridades de 
quienes desarrollan inteligencia artificial en el norte global “para el bienestar 
social”. ¿Qué sistemas de poder se fortalecen cuando se asignan cantida- 
des millonarias de recursos (públicos o privados) a instituciones del norte 
global desarrolladoras de inteligencia artificial, bajo pretexto de que son 
para el "bienestar social", cuando estas no incorporan las mínimas buenas 
prácticas y metodologías mencionadas anteriormente, que son fundamen- 
tales si realmente se busca cambiar la balanza de poder hacia un mundo 
más equitativo? 

¿Es la inversión en desarrollos de inteligencia artificial piloteados por 
el norte global la mejor utilización de recursos para promover el bienestar 
social de quienes siguen viviendo hoy en día bajo diversas opresiones? 

La cooperación internacional es fundamental y ha impulsando un 
sinnúmero de proyectos y avances alrededor del mundo -— pero esta solo es 
significativa cuando cumple con los criterios enumerados anteriormente y 
cuestiona claramente los sistemas de opresión en que se desenvuelve. 

Por estas razones y muchas otras, es fundamental cuestionar las 
narrativas de inteligencia artificial para “el bienestar social” desde una 
crítica feminista: debemos impedir que se sigan perpetuando los sistemas 
de opresión, incluyendo aquellas utilizaciones de inteligencia artificial que lo 
hacen sólo de nombre con el fin de contribuir al bienestar social y los 


Objetivos de Desarrollo Sostenible. 
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Conclusiones 


Al permitir que aplicaciones de la IA se autonombren como “lA para 
los ODS” sin exigir criterios mínimos de calidad ya establecidos como fun- 
damentales para cumplir con la Agenda 2030, se perpetúa la desigualdad 
sistémica entre quienes producen tecnología de punta (principalmente, una 
minoría con privilegios) y quienes la reciben (mayoría históricamente mar- 
ginalizada, incluyendo la mayoría del sur global). Esto fortalece, también, la 
noción de que estos últimos no somos más que beneficiarios de soluciones 
desarrolladas por terceros, en lugar de reconocer que somos actores de 
nuestro propio bienestar; y nuestros Estados son los titulares de obligacio- 
nes para garantizar nuestros derechos. 

Un acercamiento feminista al tema nos permite identificar y constatar 
estos desafíos, lo cual, aunado a un conocimiento de las metodologías 
concretas para mejorar la calidad de vida y verdadero acceso a derechos 
en igualdad de condiciones, nos puede llevar realmente a desarrollar siste- 
mas y aplicaciones de inteligencia artificial que respondan verdaderamente 
a nuestras prioridades y necesidades. Es necesario trabajar desde estas 
dos perspectivas para proponer respuestas concretas que busquen y logren 
que la inteligencia artificial realmente sea una herramienta no solo para el 
bienestar, sino para la implementación de los derechos humanos de quie- 
nes han vivido y siguen viviendo en la exclusión y la opresión. 

Necesitamos conocer y difundir nuestros derechos y desarrollar la 
agencia necesaria para poner nuestras propias reglas y parámetros y exigir 
rendición de cuentas -y en su caso, reparación del daño- de quienes desa- 
rrollan e implementan aplicaciones inteligencia artificial, ya sea en el sector 


académico, público o privado; tanto en el norte como el sur global. 
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Esto requiere acciones clave como divulgar información sobre 
derechos humanos y digitales ante la población en general; movilizar a 
organizaciones feministas y de derechos humanos en estos temas; y desa- 
rrollar legislación y estrategias nacionales digitales. También requiere que 
los organismos internacionales y de Naciones Unidas tomen conciencia de 
estos desafíos y no promuevan el uso de aplicaciones de inteligencia artifi- 
cial que solo contribuyen a los ODS en su discurso, contraviniendo las 
buenas prácticas y los principios que han sido desarrollados por esos 
mismos organismos internacionales y el andamiaje internacional de los de- 
rechos humanos. 

Finalmente, no permitamos que la inteligencia artificial se presente 
como la panacea. El Sur Global no quiere y no necesita ser “un proyecto” 
más, tampoco necesitamos caridad ni buenas intenciones; sino igualdad de 
género, justicia social, económica y medioambiental a nivel nacional y en el 
sistema internacional. Los millones que se invierten en inteligencia artificial 
“para los ODS” podrían hacer cambios extraordinarios en organizaciones 
de base, que en la mayor parte de los casos no requieren soluciones de in- 
teligencia artificial como prioridad- eso sí sería una innovación y un desafío 


a los sistemas que perpetúan la desigualdad a diferentes niveles.!?€l 


[26] Un ejemplo es el caso de una organización productora de inteligencia artificial que al ofrecer sus soluciones a una organización local, 
se percató —a través de un diálogo sustantivo que es ejemplo buena práctica— de que lo que la organización local requería era 
aprendizaje del uso de tablas en Excel y optimizar su conocimiento de Word, no inteligencia artificial; y se la acompañó en sus 
necesidades específicas. La entrevista completa de Luciana Benotti a Sasha Luccioni está disponible en: Fundación Vía Libre. (2021). 
Inteligencia artificial para el bien ¿de quién? / Who benefits from Al for Good? [Video]. 
https://www.youtube.com/watch?v=TYaoiLVE3vY 
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El camino es largo, pero herramientas como la Recomendación de la 
UNESCO sobre la ética de la inteligencia artificiall271 e iniciativas como la 
Red de Investigación sobre Inteligencia Artificial Feminista son excelentes 
vías, recursos e indicadores de que vamos por el camino correcto: otra for- 


ma de concebir e implementar la inteligencia artificial es posible. 


RECOMENDACIONES 


o A personas e instituciones desarrolladoras de inteligencia artificial 
que tengan como objetivo contribuir al bienestar social y los ODS, se 
recomienda crear alianzas con organizaciones representativas de grupos 
marginados y capacitarse en metodologías para implementar proyectos en 
diferentes sectores promoviendo los derechos humanos, la igualdad de 


género y la justicia social, tal y como lo demanda la Agenda 2030. 


o A las instancias gubernamentales, se recomienda capacitarse en in- 
teligencia artificial desde una perspectiva de derechos humanos e igual- 
dad de género, desarrollar legislación, establecer estrategias e impulsar 
diálogos inclusivos a nivel nacional que incluyan la sociedad civil y gru- 
pos representativos, y que permitan garantizar que la inteligencia artifi- 
cial se va a desarrollar, monitorear y evaluar acorde con los derechos 
humanos y las prioridades nacionales, poniendo en el centro a las po- 
blaciones marginadas de acuerdo con el principio de “No dejar a nadie 


atrás”. 


[27] https://es.unesco.org/artificial-intelligence/ethics 
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o A la sociedad civil, en particular organizaciones feministas, defen- 
soras de derechos humanos y organizaciones representativas de 
grupos marginados, se recomienda informarse sobre los desafíos a de- 
rechos humanos que representa la inteligencia artificial, exigir diálogos 
con las instituciones que la desarrollan e instituciones gubernamentales 
relevantes para garantizar que la inteligencia artificial no se utilice en 
maneras que contravengan nuestros derechos humanos o avancen 
agendas internacionales a costa del propio bienestar de la población del 


sur global. 


o A organismos internacionales, de Naciones Unidas y agencias de 
cooperación, se recomienda adoptar una mirada crítica ante las aplica- 
ciones de lA “para los ODS” y exigir que dichos proyectos implementen, 
por un parte, los mismos estándares que se exigen a todo proyecto de 
cooperación internacional; y por otra parte, tomen medidas específicas 
como son aquellas necesarias para obtener el consentimiento libre e 
informado, garantías al derecho a la privacidad y medidas de reparación 


del daño por uso de lA, en caso de haberlo. 
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Detrás de la pregunta “qué es una lA feminista” es interesante indagar 
su impacto frente a las meta-narrativas promulgadas por personas escépticas 
y utópicas que llevan décadas permeando los debates acerca de la tecno- 
logía (Morozov, 2013), la democracia (Risse, 2021) y ahora de la lA (Katz, 
2020). 

Las desconexiones, desacoples, hegemonías que promueven las me- 
ta-narrativas sobre lA obstaculizan propuestas alternativas desde las cuáles 
visibilizar las oportunidades y riesgos a nivel regional. El presente está “ses- 
gado” no cabe duda, por ello potenciar desde una agenda de lA feminista re- 
gional un movimiento alternativo crítico que alerte sobre un “bias washing” en 
el horizonte es clave. 

Encarar la gobernanza de datos (públicos) urgida por la urgencia de la 
algoritmización reviste para y por esta agenda una vital importancia para su- 
marla a esa propuesta alternativa. Por otro lado, la ciencia de datos aporta su 


cuota de discusión al calor de los planteos sobre la privacidad, la rendición de 
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cuentas, la transformación digital, el data sharing, la diplomacia de la CTI, la 
cooperación digital y, por supuesto, la apertura. Una ciencia de datos que 
cree modelos éticos e inclusivos por diseño, que impulse algoritmos públicos, 
así como protocolos que respondan a las desigualdades en la recolección de 
datos, es consecuente con las necesidades actuales. 

En este texto, partimos de un breve recorrido sobre gobernanza de 
datos de interés público y por las preocupaciones ligadas a la lA feminista 
para sumar los aportes interrelacionados entre ciencia de datos, gobierno 
abierto y participación. Dicha dimensión habilita dos posibles espacios de in- 
cidencia para la agenda: los planes de acción de gobierno abierto y la inte- 
gración de las infraestructuras digitales. Finalmente, con el propósito de abrir 
conversacionesl?8l, comparto algunas ideas para explorar los espacios e in- 


tegrar las agendas. 


HACIA UNA lA SITUADA 


La inteligencia artificial vene compitiendo con otros términos en el po- 
dio de las “buzzwords”. A diferencia de otras como innovación, cambio o 
transformación (y más aún en lo digital) puede no quedar simplemente en el 
ámbito discursivo, sino afectar el plano de la materialización de toma de de- 


cisiones públicas mediadas por algoritmos. (Levy et al., 2021) 


[28] Conversaciones que son parte de entrevistas realizadas a Selene Yang (CR), Paola Ricaurte (MX), Verónica Xardez (ARG). María Paz 
Hermosilla (CHI) y Marianna Martinez (ES) 
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Haciendo una breve entrada a la biblioteca digital de Naciones Unidas 
por órgano, ya encontramos desde la década de los ochenta mención a la IA 
como automatización de procesos, pasando por el énfasis en el sistema es- 
tadístico, luego por los temas de privacidad, desarme, hasta ética. El anclaje 
proviene de documentos de la Asamblea General, el ECOSOC, Secretaría y 
últimamente de los órganos de derechos humanosl??*1. Tal vez más reconoci- 
dos sean los reportes y guías realizados bajo el PNUD y UNESCO sobre lA, 
ética, educación. Por otra parte, la lA al interior de la comunidad internacional 
ha recorrido el camino singular de los grandes datos, la ciencia de datos a 
instancias de las distintas estrategias impulsadas por los dos últimos Secre- 
tarios Generales, uno para dar cuenta de la importancia para el sector huma- 
nitario, el último a raíz del otro pilar: el desarrollo. Si bien la lA ha estado 
presente en las decisiones y reportes de los principales órganos, el mayor 
impulso lo obtiene de los organismos y organizaciones creadas en la fase de 
recolección de datos, tecnologías para su obtención y análisis y finalmente su 
gobernanza global. De allí que surja también la Oficina del Enviado para la 
Tecnologíal*% dependiente de la SG la cual debe coordinar la Hoja de Ruta 


de la Cooperación Digital. 


[29] Los órganos de derechos humanos de la estructura supranacional son la Oficina del Alto Comisionado para los Derechos Humanos , 
los Órganos creados en virtud de Tratados (Comité de Derechos Humanos-Comité de Derechos Económicos, Sociales y Culturales- 
Comité para la Eliminación de la Discriminación Racial - Comité para la Eliminación de la Discriminación contra la Mujer-Comité contra 
la Tortura -Comité de los Derechos del Niño- Comité de Protección de los Derechos de Todos los Trabajadores Migratorios y de sus 
Familiares - Comité sobre los Derechos de las Personas con Discapacidad-Comité contra la Desaparición Forzada - Instrumento de 
derechos humanos , los órganos de Derechos Humanos basados en la Carta de las Naciones Unidas, Consejo de Derechos Humanos 
y Comisión de Derechos Humanos. De esta lista tan extenso, sólo algunos trabajan el tema lA en particular. 


[30] Ver https://www.un.org/techenvoy/es 
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La hoja de ruta contiene como una de sus acciones apoyar la coope- 
ración mundial en materia de inteligencia artificial, mencionando también el 
impacto de la tecnología en cuestiones ambientales y riesgos de ciberseguri- 
dad. Puede resultar interesante también aludir a los puntos 24 y 25 del docu- 


mento donde se describe los siguiente: 


Están surgiendo varias plataformas de bienes públicos digi- 
tales de ese tipo, entre las que cabe destacar la Alianza de Bienes 
Públicos Digitales, iniciativa de múltiples interesados que responde 
directamente a la falta de una plataforma de referencia, aspecto 
destacado por el Panel en su informe. La labor de la Alianza se 
complementa con otras iniciativas, como el Marco Mundial de 
Acceso a Datos, cuyo objetivo es desarrollar infraestructuras técni- 
cas que permitan y amplíen el intercambio de datos en todas las 
modalidades para acelerar los procesos de creación de bienes pú- 
blicos digitales de calidad. Esas iniciativas son decisivas para el 
desarrollo de normas comunes sobre datos abiertos que orienten a 
los sectores público y privado sobre cómo proporcionar acceso 
abierto a los conjuntos de datos, a fin de garantizar que más datos 
pasen a ser bienes públicos digitales, respetando al mismo tiempo 
la privacidad y la confidencialidad. Un aspecto decisivo para la im- 
plantación de bienes públicos digitales es contar con marcos de 
derechos humanos y gobernanza rigurosos que fomenten la 
confianza en la tecnología y el uso de los datos, garantizando asi- 
mismo la inclusión. (NNUU, 2020; p.8) 


Y luego podemos citar respecto a la lA el punto 55: 
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A pesar de que el interés por la inteligencia artificial es 
abrumador (la recomendación del Panel generó cientos de res- 
puestas), existe un déficit de coordinación, colaboración y gober- 
nanza internacional. Las cuestiones relacionadas con la 
inteligencia artificial que el Panel ha destacado constituyen impor- 
tantes esferas de colaboración, en particular, su recomendación 
de que “Las decisiones de vida o muerte no deben delegarse a las 
máquinas”, que concuerda con el llamamiento del Secretario Ge- 
neral a la prohibición mundial de los sistemas de armas autóno- 
mos letales. Los estados miembros se han ocupado de este 
asunto en el contexto de su participación en la Convención sobre 
Prohibiciones o Restricciones del Empleo de Ciertas Armas Con- 
vencionales que Puedan Considerarse Excesivamente Nocivas O 


de Efectos Indiscriminados. (pp.14-15) 


Finalmente, y como elementos para complementar los desafíos 


planteados por otros informes o trabajos realizados por OCDE, CE- 
PALI21, OEA, SEGIBI, UEB51 y organizaciones como ILDAÉl, BIDIS o 


Derechos Digitalesi38l entre otros, hay tres retos que el texto de Naciones 


131 


[32] 
[83] 


[34 


[85] 


136 
[37 


[88] 


Ver https://www.oecd.org/sti/ieconomy/enhanced-data-access.htm y https: //www.oecd.org/digital/artificial-intelligence/ 


Ver https://www.cepal.org/es/notas/cumbre-inteligencia-artificial-america-latina 

Ver https: //www.youtube.com/watch?v=zbHfEFYswSO 

Ver https://www.segib.org/wp-content/uploads/Declaracion-IV-RMCTI_ES.paf 

Ver entre otros textos 
https://www.eipa.eu/publications/briefing/the-artificial-intelligence-act-proposal-and-its-implications-for-member-states/ 
Ver Proyecto Empatía https://www.empatia.la/ 

Ver https://publications.iadb.org/es/uso-responsable-de-ia-para-politica-publica-manual-de-formulacion-de-proyectos 
Ver Informe 

https://ia.derechosdigitales.org/wp-content/uploads/2021/03/CPC_informeComparado.paf 
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Unidas precisa: 1) la falta de inclusión y representación en los debates glo- 
bales; 2) la necesidad de una plataforma global que coordine esas iniciati- 
vas, ante la existencia de más de 160 series institucionales de ética y 
gobernanza de lA; y por último, 3) la falta de capacidad y conocimiento del 
sector público en la temática. 

Esta mínima referencia de contexto a título instrumental, que no revis- 
te análisis valorativo de su legitimidad o representatividad a los fines regio- 
nales, da cuenta de varias cuestiones que vamos a desarrollar luego. Pero 
no sin antes señalar que, como palabra de moda, la lA puede parecer abs- 
tracta y compleja pero, materialmente, de un momento a otro los mecanis- 
mos normativos necesitarán contar con una masa crítica para su localización 
a nivel nacional, subnacional y local. Y en ese proceso la agenda feminista 
de lA, los aspectos ambientales, discusiones amplias para los marcos de go- 


bernanza y las alfabetizaciones digitales son y serán un recurso importante. 


De gobernanza y ciencia de datos: aportes para otros planes e 
infraestructuras 


El giro desde gobierno a gobernanza, como bien Innerarity (2011) lo 
mencionara como concepto y praxis para la renovación de la política, se ins- 
tala también para los datos y seguidamente para la inteligencia artificial. De 


interés entonces será la gobernanza de datos públicosiB9 y sus marcos 


[89] Otras discusiones son útiles en el marco de mecanismos de cooperación y colaboración constituidos como los programas de 
colaboración para el intercambio de datos, los bazares de datos y las cooperativas de datos. 
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afines. Si bien desde la usina de recomendaciones de la OCDE encontrare- 
mos muchas concepciones sobre gobernanza pública (2019) en el contexto 
de la transformación y economía digital, o desde la Alianza Global de 
Gobierno Abierto, vamos a hacer mención a algunas ideas compartidas 
desde Mozilla y otras organizaciones regionales de forma tal de contar con 
elementos afines para desandar la gobernanza de la lA situada. 

Cabe mencionar que este texto no tiene por objetivo dar cuenta del 
estado del arte de la gobernanza de datos o lA en América Latina, pero sí 
partir de conceptos orientadores abrir el debate sobre dos instancias futuras 
de investigación acción de la lA feminista en estos territorios: la gobernanza 
de |A en el contexto de los Planes de Acción de gobierno abierto (local) y las 
infraestructuras digitales de participación. En ambos, la ciencia de datos co- 
mo herramienta tiene algo que decir y más aún cuando todavía hay deficien- 
cias en políticas sobre dicha gobernanza de datos.!*0 

Anouk Ruhaak (2021) hace un replanteamiento muy útil a la hora de 
pensar qué nos estamos perdiendo entre toda la montaña de normativas so- 
bre gobernanza dada la agencia colectiva de los datos. Retoma por tanto los 
niveles de participación propuestos por Arnstein (1969) para poner de mani- 
fiesto que actualmente nos encontramos en una zona media de tokenización. 
Es decir, con suerte se informa sobre el uso de tus datos. Eso nos plantea 


dos niveles de interrogantes: ¿Qué impacto tienen todas esas normativas? 


[40] En ese sentido, en la región podrá ser sensible monitorear las implementaciones de las normativas sobre gobernanza de datos, su 
actualización y sus brechas para dar mayor anclaje a las tecnologías, capacidades y necesidades implicadas en la lA que tengan 
impacto en el sector público. 
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¿Cómo se implementan? ¿Qué se está olvidando incluir al calor de la “ur- 
gencia” legislativa? Y tal como plantea Ruhaak, ¿qué grado de participación 
es necesaria para una gobernanza futura que nos incluya, una que además 
sea ética e inclusiva? 

Siguiendo ese camino abierto, Fabrizio Scrollini desde ILDA (2022) 
repara en los procesos de recolección de datos estadísticos y cómo incluir 
otras fuentes a los procesos ya institucionalizados de los centros nacionales 
de estadísticas. Ese es un punto clave, ya que nos da el marco para poner 
en diálogo a la ciencia de datos!*1l como herramienta para facilitar informa- 
ción para la toma de decisiones basadas en los conjuntos de datos públicos 
disponibles. En consecuencia, los procesos de recolección, los modelos, las 
alianzas entre las personas productoras de datos y las personas científicas 
de datos conformarán uno de los eslabones en esta búsqueda de una go- 
bernanza inclusiva de datos e lA. Identificando y visibilizando brechas en los 
datos existentes, las preguntas para mejorar la evidencia en políticas públi- 
cas podrán ser parte de la cadena de incidencia necesaria para pensar las 
políticas sobre gobernanza de la lA feminista. 

En la práctica, al ir priorizando problemasl*2l con base en los sistemas 
de datos disponibles, las alertas sobre la falta de datos o problemas de ma- 


duración de los mismos son detectados en momentos iniciales. Proyectos de 


Tener en consideración los conceptos sobre ciencia de datos e inteligencia artificial. Por ejemplo, siguiendo el Glosario confeccionado 
por el GobLab UAI. Ver 
https://goblab.uai.cl/wp-content/uploads/2020/04/Glosario-de-conceptos-Ciencia-de-Datos.pdf 


[41 


[42 


También podrá ser de interés para la agenda feminista de lA revisar guías o recomendaciones surgidas en la región sobre diseños 
responsables de proyectos de ciencia de datos para aportar desde la agenda feminista principios que sumen a ese diseño responsable. 
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ciencia de datos e lA como corolario de políticas públicas con perspectiva fe- 
minista serán por ende menores, no por desigualdades en la conformación 
de equipos o sus capacidades, sino por la invisibilización estructural de 
temáticas de interés en los programas de apertura de datos. Entre las entre- 
vistadas se destaca la relevancia de revisar los procesos intrínsecos a los 
modelos de recolección actuales para gestar un ecosistema maduro y estan- 
darizado de datos. El tema va más allá de contar con datos desagregados, 
ya que en ocasiones incluso esos datos no habilitan siquiera a problematizar 
por ejemplo una agenda feminista para el cambio climático. Tampoco es 
cuestión de contar con grandes datos: pequeños datos pertinentes y oportu- 
nos acompañados de una buena pregunta y la adecuada técnica pueden ser 


el impulso inicial para acciones que fomenten la justicia de datos. 


¿Qué gobernanza habilita el gobierno abierto? 


El explorador de compromisos derivados de los Planes de Acción de 
los países (y ciudades) pertenecientes a la Alianza para el Gobierno Abierto 
permite analizar ocho años (2011-2018) de información. Si observamos los 
términos asociados a cada plan, surgen algunos cruces interesantes para 
profundizar con las tendencias actuales. 

Una de las etiquetas utilizadas para describir las temáticas trabajadas 
por los compromisos es “género”. Agrupando los países y ciudades que con- 
tienen a dicho término se percibe el escaso peso del tema en general: 2.10% 
del total de los compromisos. Sin embargo, para nuestra agenda es suma- 
mente relevante ya que el 50% de esos compromisos pertenecen a América 


Latina. La región le ofrece su impronta a la temática, por peso y por connota- 
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ción de los tópicos con los cuales “género” se relaciona. 

Los datos totales y globales (Tabla 1) visibilizan los temas con los 
cuales los compromisos sobre género se han relacionado a lo largo de los 
últimos años. Se afirma la situación de vulnerabilidad y las desigualdades en 
temas de participación, datos abiertos, servicios públicos, políticas digitales. 
Por otro lado, cuestiones de justicia, ambientales, DDHH o educación pare- 
cen no ser identificadas como importantes en la agenda de género de go- 
bierno abierto. 

Tabla 1 


Co-ocurrencias etiqueta Género - Compromisos OGP 
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Fuente: OGP Explorer https://www.opengovpartnership.org/explorer/ 
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La tríada vulnerabilidad, participación y “transformación digital” ligada 
a temáticas sobre género avala la pertinencia de incidir desde el ecosistema 
de la AGA por una agenda de lA inclusiva y feminista por varias razones: 


1. Los planes subsiguientes al 2018 dan cuenta de un aumento de los 
países que incorporan compromisos relacionados a las problemáticas 
de “género” (algunos explicitando proyectos para mujeres y niñas) pas- 
ando de ochenta y uno (81) según los datos aquí analizados a ciento 
cuarenta y cuatro (144) (Gender OGP, 2021). También su desempeño 
es realmente destacable en relación con su impacto en las políticas de 
gobierno abierto y su temprana concreción frente a los compromisos 
que incluyen a otras poblaciones vulnerables identificadas por AGA. 

2. Otra de las publicaciones de avances de las políticas de gobierno 
abierto es el de Gobernanza digital. (DG OGP, 2021) Ha sido la se- 
gunda área de política de más rápido crecimiento dado el uso de al- 
goritmos e lA por los gobiernos de la alianza según dicho 
relevamiento. Protección de derechos y rendición de cuentas son las 
acciones inherentes a los marcos de gobernanza propuestos pero 
ciertamente padecen cierta debilidad en su implementación. 

3. Aunar en el esquema de acciones por la coordinación democrática 
de los datos (ILDA, 2022) la resignificación de los portales. Según 
Davis, sería pensar en futuros portales de datos como data hubs de 
gobernanza (2021) de forma de orientar marcos temáticosi%ól y 
aprovechar las infraestructuras existentes para incluir secciones de 
algoritmos públicos como políticas de transparencia activa. 


[43] Ver Charla “El futuro de la gobernanza de datos en América Latina” organizada por ILDA donde se hace mención a las posibilidades de 
trabajar los marcos de gobernanza de forma sectorial https://www.youtube.com/watch?v=x-HIV15urow 
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Algo más que infraestructuras digitales de participación 


De manera breve quiero hacer mención a otra dimensión sensible 
para la agenda en cuestión. Presenta interrelación entre gobernanza de 
datos, futuros de gobierno abierto, ciencia de datos e lA en distintas veloci- 
dades e instancias. 

A los portales de gobierno en su formato tradicional se han sumado 
otras infraestructuras digitales para dar vida a proyectos de legislación 
abierta, monitoreo de planes, presupuestos participativos, consultas entre 
otros mecanismos!“ públicos de similares objetivos. Su uso, sin hacer 
distinción de las modalidades adoptadas, es un repositorio de huellas digi- 
tales. Ni esos datos ni sus infraestructuras son integrados en la mayoría de 
los casos en los marcos de gobernanza anteriormente referidos. 

En una publicación reciente del The GovLab (Gambrell, 2022) donde 
se analiza el proceso realizado por Madrid se deja constancia de la necesi- 
dad de incluir a futuro estas instancias como parte de las políticas de uso, 
reuso e intercambio de datos provenientes, en este caso, de la ciudadanía. 

Proyectos de ciencias de datos y uso de algoritmos también son 
parte de ese ecosistema europeo que tiene repercusión por su escalabili- 
dad en América Latina. Son, claro está, otra naturaleza de datos y de acto- 
res involucrados en la recolección, tales como aquellas organizaciones de 
sociedad civil o comunidades de desarrolladores que podrán ser también lla- 


mados a formar parte de eventuales debates sobre gobernanza de datos e IA 


[44] Participedia (https://participedia.net) hace un relevamiento de proyectos participativos donde poder analizar el uso de distintas 
herramientas y procesos digitales. 
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regionales, más aún si consideramos la toma de decisiones surgidas de esos 
datos, los modelos y temáticas de políticas públicas diseñadas especialmente 


sobre distribución presupuestaria, espacio público, ambiente, movilidad. 


Conclusiones 


El incipiente escenario de marcos de gobernanza de datos a nivel 
regional, en su nivel normativo, diversidad temática y de cooperación entre 
actores, se presenta como factor de riesgo en momentos performáticos in- 
teligentes pero al mismo tiempo como oportunidad para promover valores 
intrínsecos a la agenda de datos feminista en general y de lA en particular. 

Y si “los futuros son representaciones del porvenir que compiten ac- 
tualizándose en el presente para completarse tanto material como cultural- 
mente. Cada uno de ellos lleva implícitas concepciones más o menos 
específicas de lo que significa ser humano, naturaleza, desarrollo, justicia, 
riqueza y vida”. (Belsunces, 2020) Entonces allí reside la oportunidad de 
forjar una narrativa alternativa a las promulgadas desde escépticos y utópi- 
cos: una narrativa común a la agenda feminista de lA desde donde accionar 
por diseños más justos. 

En ese estado de situación y controversias narrativas sobre qué es lA 
también se encuentra la búsqueda de un consenso sobre qué y para quiénes 
diseñar marcos de gobernanza de (nuestros) datos. ¿Por qué necesitamos 
tales políticas? ¿Qué personas están convocadas a ser parte de su diseño? 
¿Qué tipo de cooperación debe implementar? ¿Cómo se torna esa búsqueda 


necesaria en la lA feminista? 
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En ese contexto, las hojas de rutas globales son un indicador de la ne- 
cesidad de instrumentar marcos coherentes con el avance tecnológico, 
normativo y científico propio. Los distintos países de la región cuentan con 
movimientos de apertura y de datos de larga trayectoria, de derechos digi- 
tales y derechos humanos, colectivas feministas o software libre sensibles a 
las problemáticas ambientales, de sesgos y desigualdad. No sería conse- 
cuente con todo ello construir hojas de rutas locales desde cero o escasas 
de participación. En ese sentido, señalé a modo de ejemplo dos casos des- 
de donde potenciar la incidencia en el diseño de marcos de gobernanza en 
el sentido de la agenda: los planes de acción de gobierno abierto y los me- 
canismos de participación basados en infraestructuras digitales. Horizonta- 
lizar la agenda de lA implica también revitalizar esas políticas de apertura 
para problematizar junto a nuevos actores (cientistas de datos, privados, 
organismos internacionales, oficinas de estadísticas nacionales, data acti- 
vismo feminista, migrantes, ambientalistas, etc) la gobernanza. En ese mis- 
mo recorrido la agenda feminista de lA y los perfiles necesarios de 
cientistas de datos entran en juego para alertar oportunamente falencias y 
falta de datos estructurales que dificultarán el hacer las preguntas que que- 
remos con base en mejores datos y evidencia para la toma de decisiones 


públicas. 
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RECOMENDACIONES 


Finalmente, algunas propuestas para seguir conversando por una 


agenda de investigación-acción de lA feminista. 


o Sensibilizar [General]: La IA no debería considerarse un objeto pro- 
piedad de discusión de algunas áreas, actores o disciplinas. Más aún 
considerando su uso para la toma de decisiones públicas. Su gobernan- 
za por tanto remite a corresponsabilidad, participación y cooperación. Sin 
embargo, existen varias capas de debates previos o al menos simultá- 
neos para no implementar normativas anacrónicas que potencien los 
sesgos estructurales. Ejemplos: a) promover consensos abiertos locales 
acerca de qué, cómo y para quiénes se diseñan marcos de gobernanza 
de lA. En consecuencia, visibilizar por qué es importante contar con pro- 
yectos de algoritmos públicos para explicar su uso en mecanismos de 
toma de decisiones y rendición de cuentas. B) Desnaturalizar el origen de 
la escasez y madurez de datos en proyectos de ciencia de datos afines a 
la agenda feminista y el ciclo del sesgo como mero resultado de lo “dado” 
por procesos de lA. Integrar los resultados de dichos debates en los pro- 


cesos de legislación sobre gobernanza. 


o Localizar [Gobiernos/ONG]: potenciar el rol de las ciudades como es- 
pacios pertinentes para el desarrollo de políticas de gobernanza de lA 
aprovechando el ecosistema provisto por OGP Local (el capítulo de ciu- 
dades de la Alianza para el Gobierno Abierto). La presión que da cuenta 


Davis sobre la revitalización de los portales de datos puede incentivar el 
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intercambio de experiencias entre ciudades en similares velocidades de 
normativización de la gobernanza de datos. Modelo piloto para pensar en 


la “sectorización” pero por nivel territorial y no por tipo de alianzas o temas. 


Open Gov Partnership 4) 
GCopengovpart 
Women local leaders are incorporating +opengov and 


feminist approaches to tackle the challenges of the 
pandemic and strengthen democracy. 


They shared their stories with us at the HOGPSummit 
last December youtu.be/AvFMxiAwt_s 


HinternationalWomensDay +HIWD2022 H+BreakTheBias 


Traducir Tweet 


z PAMDAMIC PusMso us Te ¡urea 
a PAR 


ARTICIPATICA Ye DATA CAUICIOs 


SA 
LOCAL LEADERS ROUNDTABLE 


Fuente: https://twitter.com/opengovpart/status/150121643475571098 


o DataActivar los proyectos de ciencia (de datos) [Academia/Privados]: 
posibilidad de incluir en los equipos de ciencia de datos sobre políticas 
públicas referentes del data activismo que sumen e interpelen lo ético 
desde el territorio/cotidianeidad. Los roles y equipos de especialistas en 
distintos temas convocados en dichos procesos pueden ser interpelados 
por preguntas provenientes de otras miradas, riesgos y saberes. De esta 


forma, se integrarían desde la primera fase de la problematización una 
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perspectiva feminista sobre el tema, se identifican posibles faltantes de 
información o datos, se previenen sesgos en distintas etapas del proyec- 
to y de la comunicación. 

En ese mismo sentido, las organizaciones o comunidades que diseñan 
infraestructuras digitales habitualmente desarrollan becas para desarro- 
lladoras con el objetivo de cerrar las brechas en Ciencias, Tecnología, 
Ingeniería y Matemáticas. Sin embargo, sería interesante incidir para el 
diseño de incentivos donde mujeres de otras disciplinas como politólo- 
gas, sociólogas, antropólogas, humanistas interesadas en código se su- 
men y al mismo tiempo aporten sus miradas sobre aspectos no técnicos 


de las infraestructuras. 


o Protocolo de alertas tempranas del sesgo [agenda de investiga- 
ción IA feminista] Cocrear un protocolo que facilite la detección de po- 
tenciales sesgos al momento de diseñar un proyecto de ciencia de datos. 
Guiar desde lo más simple como ser [IF me encuentro con un data- 
set/base de datos sin desagregación entonces derivo a X área] o la crea- 
ción de un documento público, colaborativo y regional donde se 
recolecten brechas de datos al poner en ejecución un proyecto de lA. El 


mismo alimentaría el protocolo. 


o Repositorio de preguntas para una lA feminista: [agenda de inves- 
tigación IA feminista] Teniendo en cuenta los pasos propuestos por el 
curso sobre cómo hacer un proyecto de ciencia de datos del GobLabUAl 


de Chile, abrir un repositorio en Github/sitio web para recolectar las pre- 
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guntas de investigación con perspectiva feminista que quedan sin resol- 
ver dada la ausencia de base de datos que aporten evidencia. Seguir 
criterios de categorización tales como país, área de política pública, con- 
junto de datos necesario, nivel de maduración del dato, fuentes alternati- 
vas no oficiales entre otros. Visualizar los gaps por país y por conjunto de 


datos. 


o Biblioteca abierta sobre gobernanza de datos e lA feminista en Zo- 
tero: al ir explorando informaciones sobre el tema puede que te sea útil. 


Crear un grupo abierto: GDelAfeminista 
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El programa de transferencias condicionadas Familias en Acción entrega 
beneficios monetarios a más de 2 millones de familias y es uno de los pro- 
gramas más consolidados en la política social en Colombia (Departamento 
de Prosperidad Social, 2021). A pesar de ser catalogado como un éxito en 
términos de reducción de la pobreza (Llano, 2014), este programa es una 
muestra de cómo la administración de programas sociales afecta la 
autonomía y dignidad de las mujeres a través de una compleja red de 
vigilancia institucional y estereotipos que imponen cargas sobre sus vidas. 
En este documento partimos de un lente que nos permita visibilizar cómo 
Familias en Acción y sus procesos de clasificación afectan específicamente 


la experiencia de las mujeres-madres beneficiarias. 
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El texto tiene como objetivo señalar algunas preocupaciones sobre 
el impacto de los sistemas de datos y la vigilancia sobre las mujeres desde 
un enfoque que se aleja de los resultados económicos del programa. El 
trabajo se enmarca dentro de una investigación realizada por la Fundación 
Karisma para analizar el uso de datos en la política social desde una pers- 
pectiva de derechos humanosl*I, 


Para esto, es necesario entender que la pobreza no afecta de ma- 
nera equitativa a las personas. De hecho, son las mujeres quienes engro- 
san las cifras de la pobreza y la pobreza extrema en Colombia y en el 
mundo. (ONU Mujeres, 2018) A pesar de que los índices de pobreza en el 
país mejoraron en el período de 2007 a 2018, la pobreza de las mujeres 
aumentó. (ONU Mujeres, 2018a) Este escenario justifica la necesidad de 
utilizar un enfoque de género que pueda aportar a la comprensión de los 
impactos diferenciados de los sistemas de datos en la protección social 
sobre las mujeres. 

Primero, vamos a describir el contexto de la focalización de los pro- 
gramas sociales y las Transferencias Monetarias Condicionadas en Amé- 
rica Latina. Después vamos a analizar cómo funciona la vigilancia en Fami- 
lilas en Acción y sus impactos sobre la autonomía y la dignidad de las 
mujeres. Finalmente, llegamos a unas conclusiones y recomendaciones pa- 


ra la implementación de sistemas de datos en este tipo de asistencia social. 


[45] Este artículo es una versión resumida de una investigación de la Fundación Karisma titulada Vigilando a las "buenas madres": Aportes 
desde una perspectiva feminista para la investigación sobre la datificación y la vigilancia en la política social desde Familias En Acción 
publicada en 2021. 
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Contexto 


Desde los 90, América Latina se enfrentó a una nueva era mar- 
cada por la liberalización de la economía y la privatización de los servi- 
cios públicos. En este contexto, las políticas de atención a la pobreza se 
centraron en la focalización del gasto social. (Castañeda, 2005; López, 
2020; Rodríguez, 2011, 2011a) La focalización es una alternativa que 
busca la eficiencia de los recursos disponibles por medio de la asigna- 
ción de grupos focales predefinidos. (Rodríguez, 2011) La selectividad 
resultaba necesaria debido a las restricciones presupuestarias. De esta 
manera, las personas en pobreza y pobreza extrema se convirtieron en 
la población-objetivo en el país. 

En 1994, Colombia creó el Sistema de Potenciales Beneficiarios 
de Programas Sociales (Sisbén) que clasifica a las personas en térmi- 
nos de pobreza y es utilizado para asignar más de 19 programas socia- 
les. Para esto, se recogen datos por medio de encuestas masivas y, de 
acuerdo a las reglas definidas por el Gobierno, se genera una clasifica- 
ción para el grupo familiar. (López, 2020) En esta calificación operan 
procesos de representación que determinan cómo el Estado encara la 
pobreza. La representación institucional de la pobreza obedece a su- 
puestos y elecciones que no son neutrales y que ilustran un discurso 
estatal determinado. 

Uno de los programas sociales que utiliza el Sisbén es Familias 
en Acción (en adelante FA) que inició en el año 2000 y se inscribe den- 
tro de lo que se conoce como una Transferencia Monetaria Condiciona- 


da (en adelante TMC). Las TMC buscan subsidiar a las personas que no 
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pueden acceder a los precios del mercado por bienes y servicios a cam- 
bio de cumplir con unas condiciones determinadas por el Estado. 
(Rodríguez, 2011) Las condicionalidades son la columna vertebral en este 
tipo de asistencia social y, en el caso de FA, estructuran la dimensión moral 
subyacente a la mirada institucional sobre el rol de las mujeres en la supe- 
ración de la pobreza. 

FA se diseñó en respuesta a la crisis de los 90 para promover la for- 
mación de capital humano en las familias en extrema pobreza, a través de 
subsidios condicionados a la asistencia escolar y al cuidado de la salud y la 
nutrición de los Niños, Niñas o Adolecentes (en adelante NNA) menores de 
18 años del hogar. (Consejo Nacional de Política Económica y Social, 2000; 
2005; 2007) El programa está focalizado en grupos en pobreza y pobreza 
extrema, víctimas de la violencia y grupos indígenas. En 2012, con la Ley 
1532, el programa se convirtió en la principal estrategia de superación de la 
pobreza como una política de Estado. Con esto, se delegó la coordinación y 
dirección del programa al Departamento de Prosperidad Social (en adelante 
DPS) dependiente de la Presidencia. Actualmente, 2.203.038 familias 


hacen parte del programa y reciben 175.000 pesos colombianos (44 USD). 
El programa tiene dos componentes. Primero, los incentivos mone- 
tarios a cambio de que los menores de 6 años tengan controles médicos o 
que los NNA entre 6 y 18 años asistan al 80% de las clases. Segundo, el 
bienestar comunitario que incluye la participación en asambleas, la 
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selección de madres líderes!*8l y encuentros pedagógicos. Las titulares 
pueden ser excluidas si no cumplen las metas del programa, hay inconsis- 
tencias en su información o mejoran su condición económica de acuerdo al 
Sisbén. (Ley 1532 de 2012, Art. 14; Departamento de Prosperidad Social, 
2019, p. 29) 


Asistencia social y vigilancia 


La asistencia social es uno de los escenarios privilegiados para 
cuestionar la vigilancia por parte del Estado. En este entramado institucio- 
nal existe una lógica en la que se percibe como necesario analizar a las 
personas pobres. (Eubanks, 2006; Hughes, 2019; Monahan, 2017) Desde 
el Estado se argumenta la necesidad de recolectar información personal 
para entregar servicios sociales, sin embargo, los estudios sobre vigilancia 
han señalado que esta práctica también tiene un deseo de control social. 
(Hughes, 2019, p. 343) La preocupación por la privacidad de los sujetos en 
contextos de desigualdad debe preguntarse cómo se moldean los compor- 
tamientos sociales en función de un perfil institucional determinado. En este 
sentido, vale la pena explorar de qué manera las dinámicas de FA funcio- 
nan como mecanismos de control social sobre las mujeres en condición de 


pobreza y cómo podrían afectar su autonomía y dignidad. 


[46] Las madres líderes son electas por dos años y son las intermediarias entre las titulares y las autoridades del programa. 
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Sobreexposición a la vigilancia 


La focalización de programas sociales incluye la recolección y análi- 
sis de datos personales para determinar el "merecimiento” individual. En 
programas como FA, las mujeres han sido víctimas de una vigilancia que li- 
mita su autonomía y las enmarca en estereotipos que producen los gobier- 
nos. En esta sección vamos a explorar cómo se vigila a las mujeres en el 


programa Familias en Acción. 


Verificación a través del Sisbén 


En 2016, el Gobierno comenzó a recolectar nuevos datos para “pre- 
decir la capacidad de generar ingresos" de las personas. Además, introdujo 
la verificación automática de la información que las personas reportan con 
34 bases de datos públicas y privadas. (López, 2020) Cuando hay una in- 
consistencia, se marca a la persona “en verificación” y puede ser excluida 
de programas sociales. Igualmente, el Gobierno tiene control regulatorio 
sobre las incongruencias que pueden generar una marcación. (Departa- 


mento Nacional de Planeación DNP, 2017) 
El Sisbén hace visible la feminización de la pobrezal*”] y cómo la ve- 
rificación recae principalmente sobre ellas. Las mujeres son la mayoría de 


las personas en el Sisbén (Departamento Nacional de Planeación DNP, 


[47] Este concepto surge en la década del 70 en Estados Unidos para dar cuenta del aumento creciente de la pobreza en mujeres solas y 
en hogares a cargo de mujeres. Pese a que no existe una definición unívoca del término, este logra poner en discusión varios 
aspectos: 1) un predominio de mujeres entre la población empobrecida; (2) el impacto no fortuito de las causas de la pobreza entre 
varones y mujeres y 3) un aumento unidireccional de la pobreza entre las mujeres (Aguilar, 2011). 
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2020), así como son mayoría en los grupos de pobreza y pobreza extrema. 
(Figura 1) Sin embargo, estas cifras son representativas para antes de la 
pandemia de COVID 19 y las mujeres han sido más afectadas por esta cri- 
sis (Departamento Administrativo Nacional de Estadística y Departamento 
de Economía de la Universidad Javeriana, 2021). Por eso, para 2020 en 
adelante se espera que las mujeres aumenten en los grupos más empo- 
brecidos. 


Figura 1 
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Fuente: Construcción propia a partir de (Departamento Nacional de Planeación DNP, 2020) 
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En los pilotos de verificación de 2014, se evidenció que las causales 
de la vivienda están igualadas en género, pero las causales de ingresos 
generan diferencias de género claras. (Figura 2) En la causal “aporte a se- 
guridad social”, el DNP marca a las personas que pasan del sector informal 
o el desempleo hacia la formalidad. Esta causal afecta más a los hombres 
que a las mujeres, mientras que la causal “cónyuge/hijo de persona repor- 
tada” las afecta más a ellas. Por esto, la verificación de los datos del nuevo 
Sisbén de datos personales como salud, educación, gasto e ingresos 


podrían reproducir las inequidades. 


Figura 2 
Total personas marcadas “en verificación” desde 2014 hasta 2020 
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Fuente: Construcción propia a partir de (Departamento Nacional de Planeación DNP, 2020) 
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Verificación de las condicionalidades de FA 


La verificación del Sisbén solo es la puerta de entrada, pero FA tiene 
procesos de verificación que pueden generar también su exclusión del pro- 
grama. La vigilancia de FA ocurre en diferentes espacios y depende de 
medios tanto tecnológicos como redes de personas que reportan datos al 
sistema. 

Primero, el componente de salud que requiere la asistencia a che- 
queos para NNA menores de seis años. En este proceso se identifica a los 
NNA menores de seis años y se verifica su inscripción en una aseguradora 
de salud y una prestadora de servicios. Estas instituciones reportan los 
datos a Prosperidad Social sobre las asistencias a chequeos médicos. (De- 
partamento de Prosperidad Social, 2019a) 

Segundo, los compromisos educativos que requieren la asistencia 
de los NNA al 80% de las clases de una institución educativa. El proceso se 
realiza en conexión con las bases de datos del Ministerio de Educación y 
los reportes de actores como las instituciones educativas y funcionarios del 
DPS. (Departamento de Prosperidad Social, 2020) 

La verificación de compromisos de FA consta de una compleja red 
de actores que reportan información. Con esto, la permanencia del benefi- 
cio depende de negociaciones con actores. Es necesario analizar la expe- 
riencia de las mujeres en el sistema, las cargas de tiempo y sus estrategias 


de negociación. (Departamento de Prosperidad Social, 2019a) 
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Punitivismo y limitaciones en el uso de su tiempo 

Las condicionalidades de FA se establecen de manera punitiva. Es 
decir, de no llegar a cumplir con los requisitos del programa, la persona be- 
neficiaria se ve en riesgo de perder el incentivo económico y cualquier otro 
beneficio ligado a este. Esto impacta directamente la experiencia de las 
mujeres-madres beneficiarias, pues el Estado las ha hecho responsables 
exclusivas de la titularidad del programa. Esta situación las ubica en una 
posición de presión desproporcionada en relación con otros integrantes del 
hogar. Cuando el Estado no se cuestiona la división sexual del trabajo y 
construye las condicionalidades desde el punitivismo, está afectando la vida 
productiva de las mujeres y su potencial autonomía. 

Esta carga excesiva se expresa en la dificultad de encarar los requi- 
sitos que imponen las TMC, llevando a las beneficiarias a mentir sobre su 
situación laboral, reportar menos ingresos y ocultar gastos que no se ciñen 
a las condicionalidades. (Eubanks, 2018, Monahan, 2017) Los estereotipos 
socio-culturales ligados a la imagen de madre cuidadora, junto con la idea 
de responsabilidad individual, legitiman la dimensión moral de estos pro- 
gramas sociales. Además del tiempo que las mujeres deben invertir para 
que los menores del hogar no incumplan las condicionalidades, son impul- 
sadas a participar en procesos de “formación” que buscan la modificación 
de sus comportamientos. 

En FA, por ejemplo, las mujeres-madres beneficiarias deben hacerse 
cargo de los errores de las prestadoras de salud o de las entidades educa- 
tivas cuando estas no reportan de manera oportuna la información. Es 


decir, ellas deben solucionar los errores del reporte cuando no reciben el 
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incentivo económico habiendo cumplido con las condicionalidades. Aunque 
esta situación afecta directamente el ingreso económico de la familia, la 
responsabilidad de respuesta recae, junto con el tiempo invertido en el pro- 
ceso, en la madre titular. Los errores del sistema, entonces, terminan por 
imponer más cargas a las que ya se encuentran sujetas las beneficiarias 


del programa. 


Disciplinamiento y mujeres-madres como prestadoras de 


servicio 


En FA, así como en el entramado institucional de la política social en 
Colombia, existen valores que se imparten desde el Estado para modificar 
el comportamiento de los pobres a través de requisitos a cambio de un be- 
neficio económico. (Mason, 2016, p. 70) Actualmente, FA establece com- 
ponentes de nutrición, derechos sexuales y reproductivos, inclusión 
financiera y demás módulos!*él que estructuran su visión moral sobre la 
maternidad. En esta sobreexposición de las mujeres pobres a la injerencia 
estatal, la modificación del comportamiento parte de una dimensión moral 
sobre sus actuaciones. 


El Estado justifica la entrega del dinero a las beneficiarias “como una 
medida de discriminación positiva y de empoderamiento del rol de la mujer 
al interior de la familia”. (Ley 1532 de 2012, Art. 10, Para. 2) Esta afirmación 


[48] En el marco de la entrega de las transferencias monetarias condicionadas del Programa Familias en Acción y con el fin de mejorar las 
capacidades y condiciones de vida de las familias participantes, el Programa implementará un conjunto de actividades para impulsar 
las capacidades individuales y colectivas de las familias participantes. Estas actividades se enfocarán principalmente en la promoción 
de los derechos sexuales y reproductivos, educación nutricional, inclusión productiva y educación financiera”. (Ley 1532, Art. 6A). 
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no solo carece de una perspectiva crítica de género, sino que demuestra 
que el rol se valora siempre que se dé dentro del esquema de familia nu- 
clear tradicional: el “empoderamiento” existe al margen de su papel como 
cuidadora y administradora dentro del hogar. El perfil institucional de madre 
alrededor de las condicionalidades punitivas, sumado a estas afirmaciones, 
sustenta la idea de que las mujeres-madres son priorizadas en función de 
su papel como madres y prestadoras de un servicio y no como el de sujetas 
de derecho. 

Las mujeres-madres beneficiarias deben demostrar una “idoneidad 
moral” que está ligada al adoctrinamiento de su vida sexual-reproductiva y 
su desempeño como madres. En el caso de las beneficiarias hay ciertos 
perfiles que se valoran y moldean desde el Estado: para recibir el beneficio 
económico hay que demostrar que se es “buena madre” a partir de unos 
lineamientos institucionales establecidos. Desde esta perspectiva, el Estado 
es una institución que practica la regulación moral adaptando las normas y 
valores culturales sobre los "buenos comportamientos” en derechos y res- 
ponsabilidades. (Brock, 2003 citado en Gazso, 2012) El componente de 
formación de FA que incluye “competencias ciudadanas y comunitarias”, 
junto con la responsabilización de las madres por participar en las activida- 
des de “beneficio colectivo” del programa, construyen una imagen institu- 
cional de “buenas madres” que es premiada o castigada según el caso. 
Nuestra observación se dirige a señalar que estos valores no son neutrales 
y que, por el contrario, responden a un perfil de responsabilización 


individual determinado. 
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Conclusiones 


El caso de FA alerta sobre el aumento de la vigilancia sobre las mu- 
jeres empobrecidas. Ellas son la mayoría de la población en pobreza y las 
que más dependen de programas sociales. Por esto, son blanco de vigilan- 
cia sobre su condición socioeconómica en el Sisbén y sobre el cumplimien- 
to de las condicionalidades en FA. Esto ocurre por medio de bases de 
datos compuestas de reportes de muchos actores. Además, las mujeres 
son responsables por los errores del sistema, pues son ellas las que pier- 
den los beneficios y las que tienen la carga de solucionarlos. Con la expan- 
sión de sistemas intensivos de datos, las mujeres serían las más afectadas 
tanto en el Sisbén por su pobreza y en FA por su género y su rol de ma- 
dres. 

Las condicionalidades punitivas de FA imponen una carga diferencial 
sobre las mujeres, pues son ellas las responsables no solo de la participa- 
ción de los NNA en los componentes del programa, sino que deben partici- 
par en el bienestar comunitario. Estas características reproducen la idea de 
que los programas sociales dependen del merecimiento. Así, el Estado ins- 
trumentaliza a las mujeres-madres en función de su parentesco con los 
verdaderos titulares del beneficio, es decir, los NNA del hogar. De esta for- 
ma, las mujeres se convierten en las intermediarias entre el Estado y la su- 
peración de la pobreza. El análisis crítico de los estereotipos sobre la 
maternidad en FA y la política social permite entender los impactos del 


cumplimiento de unos deberes impuestos sobre la autonomía de las mujeres. 
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RECOMENDACIONES 


o Los gobiernos que implementan sistemas automatizados de 
análisisde datos no deben utilizarlos para vigilar o poner sospechas 


sobre el cumplimiento de las condicionalidades de los programas. 


o Los gobiernos deben ser transparentes con los procedimientos y los 
datos utilizados cuando se automatiza una decisión dentro del sistema 


de protección social. 


o Los gobiernos no pueden utilizar sistemas automatizados para 
castigar o poner cargas desproporcionadas sobre las mujeres en 
condición de pobreza, pues limitan su autonomía aumentando la 


inequidad de género. 


o Las organizaciones de la sociedad civil que trabajan sobre derechos 
humanos en contextos digitales deben abandonar los principios 
abstractos y centrarse en los procesos internos de los sistemas de 


datos en aplicaciones que impactan diferencialmente a las mujeres. 


o Las organizaciones feministas deberían solicitar plena transparencia 
sobre los datos y los procesos utilizados para los programas sociales 
que se centran en las mujeres para alertar sobre los problemas de la 


vigilancia y automatización de procesos. 
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de América Latina: Tatiana Revilla 
Programa de Género de la 
de la narrativa a la acción Escuela de Gobierno y 


Transformación Pública 
Tecnológico de Monterrey 
México 


¿Es necesario regular aspectos de género en la inteligencia artificial? ¿Se 
puede lograr mayor igualdad en el futuro y/o no repetir las dinámicas de 
poder actuales? ¿Qué regulaciones existen hoy en día? ¿La política pública 
puede incidir en la disminución de sesgos de la inteligencia artificial (1A)? 

Este texto tiene dos objetivos; el primero, realizar un breve análisis de 
las estrategias de lA de países latinoamericanos para saber cómo están inte- 
grados —o no- elementos clave relacionados con la Perspectiva de Género 
(PEG) en el diseño y uso de inteligencia artificial (IA), como segundo objetivo, 
se establecen recomendaciones generales, con base en lo que sí existe o no, 
para incorporar a las regulaciones de política pública en la región. 

El marco de referencia desde el cual afirmo que la inteligencia artifi- 
cial sí es y debe ser susceptible de regulación, no sólo en temas relaciona- 


dos con perspectiva de género, sino en diversos aspectos ya ampliamente 
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estudiadosl!**, se argumenta desde el derecho a la justicia, en específico, 
en temas relacionados con PEG, a la justicia de género. Este concepto ha 
sido poco utilizado en temas relacionados con lA, pero hoy, da cuenta de la 
necesidad y la obligación de integrar enfoques interseccionales desde los 
derechos humanos, la igualdad de género y la no discriminación. La justicia 
de género busca minimizar las desigualdades, evitar que aumenten y se 
reproduzcan, en este caso, a través de la tecnología e lA, trasladando las 
dinámicas de poder y opresiones de las interacciones humanas, ahora al 


mundo digital. 


¿Cómo ha sido la regulación en países de América 
Latina? 


Las políticas públicas que regulan la lA han sido desarrolladas como 
instrumentos denominados planes o estrategias nacionales de inteligencia 
artificial, los cuales, de acuerdo con Bradley et al. (2020), intentan coordinar 
las políticas gubernamentales para maximizar los beneficios potenciales 
para la economía y la sociedad, mientras se minimizan los costos potencia- 
les. En América Latina, de acuerdo con Gómez et al. (2020), la mayoría de 
los países han desarrollado algún tipo de estrategia alineada con esfuerzos 
digitales, incremento de conectividad y desarrollo de infraestructura, datos 


abiertos y digitalización. 


[49] Como son la transparencia algorítmica, rendición de cuentas, apertura del procesamiento de la información, ética en la selección y 
manejo de esta información, seguridad digital y protección de los derechos de privacidad y de datos personales. 
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Como resultado de un análisis de todas las estrategias nacionales 
de inteligencia artificial hasta el 1 de enero del año 2020, Bradley et al. 
(2020) señalan que la mayoría de las estrategias contaban con referencias 
explícitas a los derechos humanos; sin embargo, estas referencias queda- 
ban ambiguas o muy generales. Se expresaba la necesidad de contar con 
marcos de referencia éticos o centrados en los derechos humanos, pero sin 
claridad y especificidad a qué derechos o qué acciones concretas se re- 
ferían. También, señala que el derecho a la privacidad, a la igualdad y a la 
no discriminación eran los derechos más comunes, pero sin profundidad 
sobre cómo serían protegidos en el desarrollo y uso de la lA. 

En el caso específico de América Latina, se presenta un breve aná- 
lisis sobre la integración de ciertos componentes de igualdad de género en 
las estrategias de lA, en específico de aquellos países que más desarrollo 
han tenido en relación con lA. 


Los componentes por analizar son: 


Integración explícita de Estrategias y/o líneas de 


un enfoque de derechos X acción para mitigar los 
Ó X 


ri n el diseñ 
59 humanos esgos en el diseño y /o 


uso de la lA respecto a 
los sesgos algorítmicos 
Integración explícita de la 
PEG 


Promoción de la 


Incorporación de datos 0.0 int Es itari 
o o o  desagregados, al menos, VO integración paritaria en 
(MV por categorías sexo- eS eQuTós Aa 
| ' genéricas en el colegiados propuestos 


diagnóstico o análisis 
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ArgentinalS01* 


Plan Nacional de Inteligencia Artificial 


Sx 


Sí se identifican líneas de acción, 


entre las que se destacan: 

- Creación del Observatorio Nacional 
en Inteligencia Artificial para realizar 
evaluaciones de impacto algorítmico; 
- Esquema de gestión de riesgos; 

* Evaluaciones para identificar riesgos 
potenciales y diseñar una estrategia 
para contrarrestar o minimizar el im- 
pacto. 

No se hace mención explícita de ses- 
gos de género o algún otro. 


Se menciona como uno de los 


Objetivos de Desarrollo Sostenible a 

alcanzar en el eje de implementación 
de impacto; de trabajo; de ética y de 

regulación. 

Se destaca la desigualdad de género 
como un valor del documento. 


Sí Integra un 
enfoque de 
derechos humanos 
Señala especial 
énfasis en grupos 
sub-representados 
Establece la 
inclusión social 
como prioridad 


No se identificó 


No se identificó 


[50] La estrategia actualizada se encuentra en proceso de consolidación por la actual administración del gobierno de Argentina. La 


estrategia más reciente está disponible en 


https://ia-latam.com/wp-content/uploads/2020/09/Plan-Nacional-de-Inteligencia-Artificial.pdf 
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BrasillS11 
Estratégia Brasileira de Inteligéncia Artificial - EBIA 


Sí se identifican estrategias, entre las 


que destacan: 

* Financiación de proyectos de 
investigación que apunten a aplicar 
soluciones éticas, principalmente en 
los campos de equidad y no 
discriminación (fairness) 

* Desarrollar técnicas para identificar y 
abordar el riesgo de sesgo 
algorítmico. 

* Fomentar la difusión de códigos 
fuente abiertos capaces de verificar 
tendencias discriminatorias en 
conjuntos de datos y modelos de 
aprendizaje automático. 

- Crear mecanismos para aumentar el 
interés de los brasileños en materias 
STEM (matemáticas, ciencias, 
tecnología e ingeniería) en edad 
escolar, con especial énfasis en 
programas de inclusión de género y 
raza. 


Sí establece la importancia de tomar 


en cuenta criterios de desigualdad de 
género en diversos ámbitos 
relacionados con la lA. 


[51] Estrategia publicada en el año 2021. Disponible en 


A 


o 


oo 


UN 


=> 


Sí establece la 
relación del diseño 
de lA con los 
derechos humanos, 
diversidad y 
sociedades justas. 


Se identificaron 
únicamente datos 
respecto a la baja 
presencia de 
mujeres en 
profesiones 
relacionadas con la 
IA en el país. 


Establece el 
fomento a la 
composición diversa 
de los equipos de 
desarrollo de lA en 
términos de género, 
raza, orientación 
sexual y otros 
aspectos 
socioculturales. 


https: //www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/arquivosinteligenciaartificial/ia_estrategia_diagramacao_4- 
979 2021.pdf 
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Chilels21 


Política Nacional de Inteligencia Artificial 


PS) 


Sí se identifican estrategias, entre las 


que destacan: 

"Fomentar la participación de mujeres 
en áreas de investigación y desarrollo 
relacionadas con la lA, hasta alcanzar 
un nivel igual o mayor a la OCDE. 
"Fomentar la participación de mujeres 
en áreas de lA en la industria hasta 
alcanzar, al menos, un valor igual o 
superior al promedio OCDE y velar 
por que el impacto de la automatiza- 
ción no perjudique por género y que la 
creación de empleo sea equitativa. 
"Fomentar la equidad de género en la 
implementación de sistemas de lA. 
«Incorporar variables de género en los 
ejercicios de prospección del mercado 
laboral, focalizando políticas de capa- 
citación y actualización a mujeres 
para mitigar el impacto de la 
automatización en ámbitos donde son 
mayormente perjudicadas. 


Integra elementos de lA inclusiva, 


señalando categorías sospechosas 
principalmente el género. 

Contiene un apartado exclusivo sobre 
las brechas de género. 


[52] Disponible en 
https://minciencia.gob.cl/uploads/filer_public/bc/38/bc389daf-4514-4306-867c-760ae7686e2c/documento_politica_ia_digital_.pdf 
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Establece a los 
derechos humanos 
como un eje 
transversal 


Sí establecen datos 


desagregados por 
sexo: 

“En la metodología 
de diseño de la 
estrategia 

"En el apartado de 
género respecto a 
las brechas. 


Sí se establecen 
como parte de las 
líneas de acción de 
género 
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Colombial*3l 


Política Nacional para la Transformación Digital e inteligencia 


artificial 
SY No se identificó 
Xx 


No se identificó 


El 


[53] Estrategia disponible en 
https://www.asocapitales.co/nueva/2021/03/01/documento-conpes/ 


Establece el respeto 

K por los derechos 
humanos como 
principio general de 
la estrategia. 


AVIV No se identificó 


o  _—__——_——— 
MA No se identificó 
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Méxicol54 
Agenda Nacional Mexicana de Inteligencia Artificial 


pS) Sí se identifican estrategias, entre las Sí Integra un 

x | que destacan: E enfoque de 
«Crear un órgano independiente derechos humanos 
especializado en la protección y Señala especial 
vigilancia de los derechos humanos énfasis en grupos 
en temas relacionados con el sub-representados 
desarrollo y la implementación de lA. Establece la 
“Proponer legislación para auditar a inclusión «sgclal 
las empresas y organizaciones que como prioridad 
generen un perjuicio a través del 
desarrollo o el uso de sistemas mz 
autónomos inteligentes A No se identificó 
«Crear mecanismos internos para NU 
identificar y monitorear sesgos y 
errores durante toda la vida útil de los 
sistemas de lA 
«Comprender y establecer líneas 


éticas de uso responsable y confiable 2 2 No se identificó 
de lA, ética, leyes, manejo de sesgos I N 
de manera sistémica en los grupos de 


investigación. 


Integra la igualdad y no discriminación 
como una prioridad y eje estratégico. 


[54] Disponible en 
https://ia-latam.com/wp-content/uploads/2020/09/Agenda-Mexicana-de-lA-2020.pdf 
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Uruguayl*l 
Estrategia de Inteligencia Artificial para el Gobierno Digital 


No se identificó Establece el respeto 

K por los derechos 
humanos como 
principio general de 
la estrategia. 


No se identificó 


ooo 


Ya No se identificó 


AA No se identificó 


Dl 


[55] La estrategia actualizada se encuentra en proceso de consolidación por la actual administración del gobierno de Argentina. La 
estrategia más reciente está disponible en 
https: //ia-latam.com/wp-content/uploads/2020/09/Plan-Nacional-de-Inteligencia-Artificial.pdf 
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Como se observa, cada una de las estrategias integra el tema de 
una manera distinta. Aun cuando todas las estrategias señalan el enfoque 
de derechos humanos como parte transversal, no todos establecen de ma- 
nera explícita la PEG. Argentina, Brasil, México y Chile tienen claramente 
un abordaje prioritario, estableciendo estrategias o líneas de acción 
concretas dándole una importancia preponderante al tema, especialmente 
México y Chile. 

Un aspecto interesante es que ninguna estrategia establece indica- 
dores y presupuestos alineados con las líneas de acción. El único país que 
establece un apartado presupuestal aproximado de manera general por 
entidad hasta el año 2022, es Colombia, pero no cuenta con un desglose 
en el que se identifiquen acciones concretas relacionadas con la integración 
de la PEG ni algún otro elemento. Esto podría representar un problema en 
el momento de la implementación y evaluación de las estrategias, debido a 
la ambigúedad en qué se quiere lograr, el tiempo, responsables y con qué 
presupuesto. 

En el tema de un uso inclusivo y neutral de lenguaje, se identificó 
que las estrategias que cuentan con apartados específicos de género, 
como Chile y México, son aquellas que utilizan un lenguaje más neutro y 
menos uso de masculinos generalizados. Esto importa debido a que el pro- 
cesamiento neutral de lenguaje es un aspecto prioritario en el desarrollo, 
uso y evaluación de la lA y el que los países utilicen este lenguaje en los 
instrumentos de política pública podría ser un referente simbólico trascen- 
dental para otras acciones de más profundidad en el desarrollo, uso y eva- 


luación de sesgos algorítmicos, por ejemplo. 
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Como señalan Gómez M. et al. (2020), América Latina y el Caribe se 
encuentran en una etapa temprana de desarrollo de estrategias, guías éti- 
cas y normatividad; sin embargo, esto podría representar una oportunidad 
para que el diseño de las estrategias pueda seguir su propio curso con 
base en las necesidades propias de los países y comunidades locales, 
tomando en cuenta la fuerte colonización de la tecnología, el lenguaje y la 


hiperconectividad global. 


RECOMENDACIONES 


En este sentido, algunas recomendaciones para la integración de la PEG 
en la estrategias o instrumentos de política pública para países de la región 


son: 


o Política explícita de igualdad de género e inclusión social 

Además de un enfoque de derechos humanos, la integración explícita de 
un enfoque de género e inclusión social en las estrategias de lA es- 
tablece el reconocimiento del tema como un elemento prioritario y oblig- 


atorio a considerar por todos los actores involucrados. 


o Representación paritaria y acciones afirmativas 

Con el objetivo de minimizar las brechas de la participación de mujeres y 
otros grupos subrepresentados, se debería establecer la paridad de 
género, y, en la medida de lo posible de otros grupos históricamente ex- 
cluidos, en el desarrollo, implementación y evaluación de sistemas de lA, 
así como en los comités éticos, de auditoría y/o cualquier otro órgano 


colegiado que se establezca en las estrategias. 
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o Definición del problema 

Las estrategias de lA deberán integrar un diagnóstico y/o análisis con vari- 
ables desagregadas no solo por identidades sexo-genéricas, sino de nivel 
socioeconómico, categorías raciales/étnicas, discapacidad, comunidad 
LGBTIQ+, con el objetivo de visibilizar, desde distintas interseccionalida- 
des, las problemáticas, brechas y desigualdades relacionadas con el de- 


sarrollo, uso y evaluación de la lA específicos del país y estás poblaciones. 


o Establecimiento de estrategias y planes de acción concretas 

Para garantizar de algún modo las acciones, se deberían alinear las es- 
trategias y líneas de acción a metas, indicadores, presupuestos y mode- 
los de evaluación y seguimiento. Lo que no se mide, no sirve y, en el 
marco de la política pública, se deben de realizar evaluaciones de im- 
pacto, resultados y de proceso con base en lo establecido en los instru- 
mentos. De no existir estos elementos, se corre el riesgo que se quede 


en un documento meramente simbólico. 


o Deconstrucción de sistemas hegemónicos 

Los países latinoamericanos, a través de los diagnósticos y análisis con 
perspectiva de género y enfoque interseccional, tienen la oportunidad de 
deconstruir las lógicas de poder no solo entre los géneros, sino de los 
distintos grupos en situación de vulnerabilidad y/o exclusión, creando 
estrategias y herramientas específicas acorde con las necesidades de las 
sociedades latinoamericanas, no solo reproducir aquellas prácticas 
relacionadas con la lA de los países que tienen el control y poder en 


desarrollo tecnológico. 
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En 2021, el Instituto Mexicano de la Propiedad Industrial realizó un estudio 
que reflejó la participación de las mujeres mexicanas en las solicitudes de 
registro de invenciones (patentes) ante esta autoridad. Los resultados 
muestran datos interesantes y crudos desde una perspectiva de género, ya 
que sólo el 14% de las invenciones presentadas en los últimos dos años 
corresponden exclusivamente a mujeres mexicanas. De estas, el 22% 
corresponden a grupos mixtos (patentes que están compuestas por equipos 


que incluyen tanto a hombres como a mujeres) y en donde destaca que en 


[56] Este trabajo fue parcialmente apoyado por la subvención NSF FW-HTF-19541. Un agradecimiento especial a Seth Cooper, Rosta 
Farzan y Grecia Macias por sus comentarios sobre este artículo. 
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el 49% de dichos grupos mixtos solo participa una mujer, en el 30% solo 
dos mujeres, el 10% de los grupos mixtos integran a 4 mujeres, y solo el 
2% de los grupos mixtos integra a cinco o más inventoras mexicanas. 

En el caso de las mujeres latinas en Estados Unidos, la falta de de- 
sarrollo profesional puede resultar en la deserción de mujeres. (Alcorn, 
2020; Ryan, 2003) Sin diversidad, la ciencia ciudadana puede resultar en 
investigaciones que no son deseables para una parte de la población. 
(Chesser, Porter 8 Tuckett, 2020; Schafer 8 Kieslinger, 2016) Parte del 
problema es que hay menos investigación sobre cómo cerrar esta brecha 
de participación (Hargittai 84 Shaw, 2015; Schradie, 2012). Con base en 
teorías sociales relacionadas (Gallus, 2017; Locke 8 Latham,2002; Ryan € 
Deci, 2000), planteamos la hipótesis de que podríamos abordar este pro- 
blema convirtiendo las microtareas de los proyectos de ciencia ciudadana 
que realizan las mujeres latinas en oportunidades para que aumenten, paso 
a paso, su autoeficacia y así faciliten su desarrollo profesional. A través de 
esto, esperamos aumentar la participación, las contribuciones y las posicio- 
nes de liderazgo que toman las mujeres. 

Prevemos el siguiente caso de uso de nuestra herramienta: para un 
conjunto determinado de proyectos de ciencia ciudadana en Estados Uni- 
dos y una mujer voluntaria individual, la herramienta podría identificar que 
esa mujer se beneficiaría al completar microtareas de ciencia ciudadana 
sobre "identificación de peligros en imágenes y videos". La herramienta 
también podría recomendar completar un programa de certificado de estu- 


dio independiente para "Conocer los peligros" de la Agencia Federal para el 
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Manejo de Emergencias (FESA)I$7. En última instancia, los certificados 
podrían ayudarla a postularse para trabajos gubernamentales de nivel ini- 
cial. Prevemos que, dependiendo de los objetivos profesionales de la mujer, 
así como de la región donde resida, se le recomendará tomar diferentes ti- 
pos de certificados profesionales. Algunas de las certificaciones que explo- 
ramos inicialmente incluyen las de la Agencia Federal para el Manejo de 
Emergencias (ya que hay varios certificados que se relacionan con tareas 
de etiquetado de imágenes y videos), o certificaciones del Gobierno Federal 
de Méxicol58l (especialmente porque tienen varios certificados para trabajos 
de entrada de nivel inferior que utilizan habilidades relacionadas con la 
ciencia ciudadana, y planeamos asociarnos con ONG en América Latina). 
Adicionalmente, es necesario considerar como parte del marco de esta in- 
vestigación la representación del género femenino en la actividad de inven- 
tos en América Latina, particularmente en México (de donde son las tres 
autoras), considerando este aspecto como un fiel reflejo de si se respeta o 


no que las mujeres tengan una participación igualitaria en este ámbito. 


Diseño de herramientas 


Nuestros métodos se centran en diseñar una herramienta inteligente 
que aprenderá con el tiempo qué microtareas de ciencia ciudadana y qué 


recomendaciones de certificados profesionales son mejores para una 


[57]  https://training.fema.gov/is/ 


[58] https://www.mexicox.gob.mx/ 
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colaboradora específica para aumentar su sentido de autoeficacia y desa- 
rrollo profesional. La figura 1 presenta una descripción general de cómo 
nuestra herramienta integra un módulo de aprendizaje de refuerzo que 
aprende a través del tiempo qué tareas y certificaciones las mujeres latinas 
consideran más útiles para estos esfuerzos. Este módulo de aprendizaje 
por refuerzo operará en el backend de nuestra herramienta y nuestro fron- 
tend será un complemento web para MTurkl3%1, donde publicaremos tareas 
de ciencia ciudadana por realizar. El objetivo de nuestra herramienta de 
datos será generar políticas que conduzcan a una secuencia de microta- 
reas y programas de certificación que maximicen una función de utilidad 
específica. En nuestro caso, la función de utilidad se define por el nivel de 
autoeficacia percibida y desarrollo profesional de los participantes. Hay que 
considerar que, para consultar a los participantes sobre su autoeficacia 
percibida, nos basamos en un trabajo relacionado que ha desarrollado me- 


didas para la ciencia ciudadana. (Hiller, 2016) 


[59] Amazon Mechanical Turk (MTurk) es un mercado de crowdsourcing que facilita que las personas y las empresas subcontraten sus 
procesos y trabajos a una fuerza laboral distribuida que puede realizar estas tareas virtualmente. Las tareas pueden incluir desde 
realizar una simple validación de datos hasta tareas más subjetivas como la participación en encuestas o moderación de contenido y 
más. 
https://www.mturk.com/ 
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Figuras 1, 2 y 3 
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Nuestra herramienta se inicia primero con microtareas de ciencia 
ciudadana y programas certificados relacionados seleccionados al azar o 
en función de la popularidad global o de la facilidad de la tarea. Después de 
cada tarea, la herramienta presenta breves preguntas de retroalimentación 
para los participantes sobre la utilidad de la tarea y los programas de certi- 
ficación en relación con la función de utilidad. (ver Figura 2) Por ejemplo, la 
herramienta podría preguntar a las mujeres latinas qué tan capaces se 
sienten con las tareas y el programa de certificación que acaban de com- 
pletar y cuánto sienten que les está ayudando en su desarrollo profesional. 
El módulo de aprendizaje por refuerzo luego usa esta información como un 
ciclo de retroalimentación y datos de entrenamiento para aprender con el 
tiempo la secuencia más óptima de microtareas para maximizar la función 
de utilidad particular. Con este fin, formulamos el siguiente objetivo: quere- 
mos maximizar la utilidad general esperada (por ejemplo, la autoeficacia y 
el desarrollo profesional) "e" después de participar en el proceso de pro- 
ducción con un conjunto específico de tareas y programas de certificación, 
mediante el uso de una óptima política de recomendación p*. Matemática- 


mente, este problema se puede escribir como: 


* 


p = argmax E, (e) (1) 


Observe que p es una familia de políticas descritas por una función 
de masa de probabilidad (PMF) discreta sobre un conjunto de n tareas (que 
incluyen microtareas de ciencia ciudadana y completar certificados profe- 


sionales) que van desde ¡i=1 a n, ye es la retroalimentación que las 
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participantes brindaron sobre cuánto sintieron que las tareas y certificados 
de ciencia ciudadana recomendados ayudaron a su autoeficacia y desa- 


rrollo profesional. El valor de la utilidad esperada se puede calcular como: 


E, = 2 e Pr Ct, w) 


= o 


_Pr(t) Pr (w) 
ji 1 L J] 


= w Fp(2) 


donde w es un PMF sobre todas las participantes (donde tenemos m 
número total de participantes), F es una matriz m x n que contiene los 
puntajes de retroalimentación después de cada tarea, y p es la política 
sobre las microtareas. El superíndice T indica transposición. La matriz F re- 
gistra así la retroalimentación del j-ésimo participante en la j-ésima fila y las 
microtareas (que incluyen tareas de ciencia ciudadana y finalización de 
certificados de desarrollo profesional) se organizan sobre las columnas 
utilizando un índice ¡. Esto significa que e¡¡ es el puntaje de retroalimenta- 
ción otorgado por el j-Ésimo participante después de completar la tarea /. 
Las microtareas de ciencia ciudadana o los programas de certificación no 
completados se considerarán con puntajes de retroalimentación bajos. Las 
políticas ppmfs están condicionadas a determinados proyectos de ciencia 
ciudadana con sus correspondientes certificados de profesionalidad. Una 


política se centrará en seleccionar la tarea con el mayor valor esperado, y 
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teniendo en cuenta la incertidumbre que tenemos sobre la distribución de 
recompensas (pulgares arriba-pulgares abajo) de la tarea. Esto nos permite 
equilibrar la exploración y la explotación. Hay que considerar que nuestros 
algoritmos de orientación son, por lo tanto, generalizables y aplicables en 
todos los proyectos de ciencia ciudadana con sus programas de certifica- 
ción relacionados. Para cada tipo de proyecto de ciencia ciudadana, 
nuestros algoritmos aprenderán una política diferente (es decir, el tipo de 
microtareas y certificados que son mejores para obtener en proyectos de 
ciencia ciudadana centrados en el cambio climático pueden ser diferentes 
de los centrados en la atención médica). 

En la implementación completa de nuestras herramientas inteli- 
gentes, también planeamos incorporar técnicas de minería de datos para 
utilizar datos históricos de un proyecto de ciencia ciudadana en particular 
para identificar los patrones de microtareas que se han asociado con una 
participación exitosa y luego integrar ese conocimiento en nuestros 
algoritmos de orientación. Esta información se puede utilizar para alimentar 
nuestro algoritmo en la etapa inicial, cuando no se han recopilado todavía 
los comentarios individuales necesarios. En iteraciones de nuestros méto- 
dos computacionales, también planeamos crear un ciclo de retroalimenta- 
ción computacional de la reacción de la comunidad de ciencia ciudadana al 
trabajo que producen las mujeres latinas y también incorporar información 
sobre las habilidades y el conocimiento de una mujer. Nuestros algoritmos 
inteligentes aprenderán con el tiempo cuáles son las mejores tareas y pro- 
gramas de certificación para hacer que ciertos tipos de latinas se sientan 


más capaces, sientan que están creciendo profesionalmente, teniendo en 
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cuenta también los comentarios de la comunidad científica ciudadana. Uno 
puede imaginar que el algoritmo puede ajustarse para maximizarse a nivel 


individual de una mujer o a nivel de proyecto de ciencia ciudadana. 


Representación de mujeres latinoamericanas en inven- 


ciones mexicanas 


En 2021, el Instituto Mexicano de la Propiedad Industriall$% realizó 
un estudio que reflejó la participación de las mujeres mexicanas en las soli- 
citudes de registro de invenciones (patentes) ante esta autoridad. Los 
resultados muestran datos interesantes y crudos desde una perspectiva de 
género, ya que sólo el 14% de las invenciones presentadas en los últimos 
dos años corresponden exclusivamente a mujeres mexicanas. De estas, el 
22% corresponden a grupos mixtos (patentes que están compuestas por 
equipos que incluyen tanto a hombres como a mujeres) y en donde destaca 
que en el 49% de dichos grupos mixtos solo participa una mujer, en el 30% 
solo dos mujeres, el 10% de los grupos mixtos integran a 4 mujeres, y solo 
el 2% de los grupos mixtos integra a cinco o más inventoras mexicanas. 

Estas cifras llevan a la reflexión obligatoria de encontrar una forma a 
través de la cual se garantice una participación más igualitaria de las 
mujeres en las invenciones, ya que a pesar de la existencia de la Ley 


Federal para la Igualdad entre mujeres y hombres (Ley Federal 227, 2006) 


[60] https://www.gob.mx/impi/ 
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y la Ley Federal para Prevenir y Eliminar la Discriminación (Ley Federal 
179, 2003) en México, es inminente el bajo nivel de representación del 
género femenino en los procesos inventivos. Ambas leyes están dirigidas a 
promover principalmente la no discriminación de las mujeres por su condi- 
ción de género, garantizándoles su derecho a la educación, a la libre 
elección de su profesión, el derecho a la formación especializada, al acceso 
a la información y a las tecnologías de la información. Sin embargo, la 
situación demuestra la falta de seguimiento de los derechos que tienen las 
mujeres de ser tratadas por igual en toda situación y que por supuesto está 
ligada al derecho a la educación sin ser víctimas de discriminación tan solo 
por su género. 

La referida legislación prevé formas para prohibir la discriminación 
en relación con el desarrollo profesional, entre las que se destacan las 
siguientes: impedir el acceso o permanencia a la educación pública o 
privada, así como a becas e incentivos en centros educativos; establecer 
contenidos, métodos o instrumentos pedagógicos en los que se asignen 
roles contrarios a la igualdad o que difundan una condición de subor- 
dinación; prohibir la libre elección de empleo, o restringir las oportunidades 
de acceso, permanencia y promoción en el mismo; establecer diferencias 
en remuneración, beneficios y condiciones de trabajo para puestos iguales; 
limitar el acceso y la permanencia en los programas de entrenamiento y 
formación profesional; impedir la participación en igualdad de condiciones 
en asociaciones civiles, políticas o de cualquier otro tipo; limitar la libre ex- 
presión de ideas; impedir la accesibilidad a la información, tecnología y 


comunicaciones; restringir la participación en actividades culturales; 
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restringir o limitar el uso de su lengua, usos, costumbres y cultura; e imple- 
mentar o ejecutar políticas públicas, programas u otras acciones guberna- 
mentales que tengan un impacto desfavorable en los derechos de las 


personas. 


Conclusión 


Propusimos una herramienta basada en lA que podría motivar a las 
mujeres de América Latina a participar en proyectos de ciencia ciudadana. 
Nuestra esperanza es que otras investigaciones puedan usar nuestros 
principios de diseño para identificar diferentes formas en las que también 
puedan diseñar herramientas inteligentes para ayudar a motivar a las po- 
blaciones subrepresentadas a participar en diferentes esfuerzos y, por lo 
tanto, ayudar a cambiar quiénes pueden participar en diferentes 


actividades. 
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RECOMENDACIONES 


o Al diseñar herramientas de lA para aumentar la participación de poblaciones 
subrepresentadas, es fundamental hacerlo con las propias poblaciones para 
comprender sus necesidades, y diseñar herramientas que puedan coincidir con lo que 
estas poblaciones realmente necesitan. En nuestro laboratorio de la Northwestern 
University y en la UNAM, hemos estado diseñando herramientas junto con diferentes 
poblaciones de mujeres, incluidas personas de regiones rurales y trabajadoras 
tecnológicas. (Ángel, Savage 8 Moreno, 2015; Beltrán, 2020; Hanrahan et al., 2020) 
Es crucial adoptar una filosofía de diseño en la que se tomará el tiempo para 
conectarse y comprender a las comunidades antes de desarrollar algo para ellas. 


o También es importante saber que la lA no siempre es la solución a todos los 
problemas. Es mejor adoptar un enfoque de diseño centrado en el ser humano y 
permitir que los problemas y las necesidades de la comunidad sean los que definan 
ese diseño. Es crucial dedicar tiempo a iterar la tecnología con las poblaciones 
subrepresentadas para garantizar que les sea útil y se adopte a largo plazo. 


o En el proceso de creación de programas que promuevan la participación de grupos 
conformados por mujeres, es fundamental que puedan sensibilizarse sobre sus 
derechos de acceso a la educación, tanto básica como especializada, así como sobre 
la importancia de su participación en procesos creativos en los que más mujeres están 
involucradas, por lo que se considera este como uno de los elementos de 
configuración más importantes en los modelos creados con ese propósito. 


o Todo proyecto cuyo objetivo sea promover la participación de las mujeres debe partir 
de la construcción de un escenario en el que las mujeres tengan acceso igualitario al 
uso, control y disfrute de los bienes, servicios y recursos de la sociedad, así como a la 
toma de decisiones en todos los ámbitos de la vida social, económica, política, cultural 
y familiar. 
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Incubando lA feminista 


Hacia un marco feminista 
para el desarrollo de la lA: 


de los principios a la práctica Juliana Guerra 


Derechos Digitales 
Colombia 


Al percibimos las condiciones injustas en las que, cada vez más, los sis- 
temas algorítmicos se utilizan para la toma de decisiones, que afectan 
especialmente a las mujeres, las personas de género diverso y racializa- 
das, nos cuestionamos: ¿es posible desarrollar una lA que no reproduce 
lógicas de opresión? ¿Qué aspecto tendría? 

Esta posibilidad podría ser aún remota, especialmente si se consi- 
dera que la mera idea de “inteligencia” incrustada en las teorías que 
originaron y aún sostienen el concepto de lA ignoran en gran medida los 
múltiples saberes que existen -y resisten- más allá del mundo occidental. 
Sin embargo, trabajando en América Latina identificamos varias experien- 
cias de desarrollo tecnológico inspiradas y guiadas por principios feministas 
enfocados en la justicia social y en la transformación que pueden inspirar 
iniciativas similares adaptadas a la lA. Con nuestro proyecto, buscamos 
resaltar las prácticas, teorías y perspectivas críticas que emergen de la 
región cuestionando la idea dominante de lo que es y puede ser la lA. 

Intentando avanzar en esa dirección, hemos comenzado a desarro- 
llar una guía práctica para el diseño colaborativo de sistemas de lA. La guía 


se alimenta de tres fuentes: 
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o Diferentes conjuntos de tecnologías relacionadas con principios 
feministas y de justicia social 

o Guías feministas desarrolladas en América Latina para la 
producción y gestión de datos, así como para el despliegue y 
mantenimiento de infraestructura 

o Experiencias concretas de mujeres que trabajan en el campo de la 


IA en América Latina 


Teniendo en cuenta que una lA feminista debe abordar las 
necesidades y las preocupaciones locales previamente identificadas por un 
grupo interesado que forma parte de las personas proyectadas como futuras 
usuarias, esta guía no es aplicable a los sistemas de lA a gran escala. 

En un proceso inicial de cinco pasos, el objetivo de esta guía es llegar 
a un entendimiento común de los riesgos, oportunidades y capacidades para 
el desarrollo de un sistema de lA. Ella sugiere a los desarrolladores identifi- 
car si un sistema de lA es la solución más adecuada para el problema al que 


una comunidad quiere responder y, de no ser así, avanzar con alternativas. 

Cuando la opción es continuar con la lA, la guía orienta la toma de 
decisiones conscientes e informadas en el diseño de un sistema que tenga 
en cuenta el uso de bases de datos, herramientas y entornos de trabajo, así 
como las políticas de recolección, almacenamiento y gestión de datos. El 
aspecto más importante del proceso de diseño de lA es que es continuo, 
activo y basado en acuerdos y toma de decisiones colectivas. 
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¿Por qué un marco feminista para desarrollar lA es la 


mejor solución? 


Estas consideraciones a nivel de diseño de lA son clave dados los 
efectos discriminatorios de los sistemas de lA en poblaciones históricamen- 
te marginadas que ya fueron documentados por activistas y académicos de 
todo el mundo. Desde una perspectiva feminista latinoamericana, creemos 
que para reducir los efectos discriminatorios de la |A estos grupos deben 
participar activamente en su proceso de concepción, diseño y desarrollo, y 
se deben implementar criterios de evaluación de impacto construidos de 
abajo hacia arriba. Para comenzar este proceso, es necesario encontrar 
una base común de comprensión y flujo de trabajo entre los grupos intere- 
sados en implementar una lA y los equipos de desarrollo tecnológico. 

Una IA feminista latinoamericana no termina en un sistema 
particular. El proceso de definir su adopción o no, así como el ciclo 
completo de su desarrollo, deberían, más que eso, facilitar aprendizajes y 
entendimientos compartidos críticos sobre qué es la tecnología y cuáles 
son su potencial, impactos y las dinámicas de poder detrás de ella. 

Buscamos construir tecnologías que sirvan al bien común. Estamos 
convencidas de que, como cualquier otro desarrollo sociotécnico, un 
sistema de lA por sí solo no puede generar transformaciones positivas. 
Nuestra propuesta se enfoca en transformar las prácticas en torno al diseño 
y desarrollo de sistemas de lA para incorporar los conocimientos, 
perspectivas e inquietudes de quienes los utilizarán o estarán sujetos a 
ellos. También intenta fomentar un entorno de trabajo abierto y colaborativo 
de diálogo permanente, donde sea posible hacer frente a los riesgos, 


oportunidades y conflictos inmersos en los sistemas de lA. 
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Próximos pasos 


En la etapa de creación de prototipos, continuaremos trabajando en 
las fases de desarrollo e implementación de lA de la guía, así como 
refinando el proceso de diseño inicial. Realizaremos una reunión de diseño 
participativo (tipo hackatón), basada en un proyecto concreto de lA feminis- 
ta, para discutir cómo implementar la guía. Junto con las participantes de la 
primera etapa de esta iniciativa, así como el grupo de personas 
involucradas en este proyecto feminista de lA, revisaremos críticamente la 
guía y la complementaremos con los aprendizajes que surjan de las 
características particulares del flujo de trabajo de desarrollo de lA. Como 
resultado tendremos una segunda versión de la guía práctica, así como 
insumos para seguir trabajando en propuestas feministas para auditar y 


desarrollar evaluaciones de impacto de sistemas algorítmicos. 
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Diagnóstico y mitigación de 

sesgos desde América Latina 

sobre procesamiento de 

lenguaje natural (PLN) Laura Ación 


Laura Alonso Alemany 
Luciana Benotti 

Matías Bordone 

Beatriz Busaniche Lucía 
González 

Alexia Halvorsen 


Fundación Vía Libre 
Argentina 


Los modelos de aprendizaje automático y los sistemas basados en datos se 
utilizan cada vez más para asistir procesos de toma de decisiones. El ob- 
jetivo de este proyecto es adaptar y disponibilizar herramientas para la de- 
tección, diagnóstico, prevención y mitigación de sesgos en aplicaciones de 
tratamiento automático del lenguaje humano, enfocado en las necesidades 
específicas de la región latinoamericana. 

En particular nos enfocaremos en el análisis de los llamados word 
embeddings. Estas son técnicas de procesamiento de lenguaje natural de 
amplio uso que, de forma totalmente automática, representan el significado 
de palabras a partir de su uso en grandes cantidades de texto. Esta técnica 
se utiliza para desarrollar aplicaciones como el auto-completado de textos o 


la traducción automática. El problema radica en que estos word 
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embeddings se obtienen a partir de textos que tienen sesgos y prejuicios 
subyacentes, que de esta forma se trasladan a las aplicaciones. Pero como 
estos embeddings son artefactos complejos y opacos, resulta muy difícil 
detectar esos sesgos. 

Mediante este proyecto disponibilizaremos técnicas y herramientas 
para analizar sesgos de word embeddings y mitigarlos, con un foco espe- 
cial en el español de la Argentina y latinoamericano. Pondremos énfasis en 
sesgos basados en género, contra migrantes, aporofobia, capacitismo y la 
marginación de comunidades históricamente desaventajadas. Un contexto 
que difiere sensiblemente al de estudios y trabajos similares realizados en 
países del norte global. Las herramientas desarrolladas en el marco de este 
proyecto integral facilitarán a personas sin conocimientos técnicos previos 
el uso de tecnologías desarrolladas en instituciones académicas del norte 
global. 

De esta forma, buscaremos reducir la barrera tecnológica para que 
especialistas de la región de ámbitos como la sociología, trabajo social, 
economía, comunicación, referentes de distintas comunidades, educación, 
etc., puedan incidir con sus conocimientos específicos en estos artefactos 


tecnológicos tan centrales en Inteligencia Artificial. 
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Feminismos en inteligencia 
artificial: 
herramientas de automatización 


hacia una reforma judicial feminista Ivana Feldfeber 


Yasmín Quiroga 

Data Género 

Argentina 

Clarissa Guevara 
Tecnológico de Monterrey 
México 

Marianela Ciolfi Felice 


KTH Royal Institute of Technology 
Suecia 


en Argentina y México 


La falta de transparencia en el tratamiento judicial de la violencia de género 
(GBV) contra mujeres y personas LGBTIQ+ en América Latina resulta en 
bajos niveles de denuncia, desconfianza en el sistema judicial y, por ende, 
reducido acceso a la justicia. Para abordar este problema apremiante antes 
de que los casos de GBV se conviertan en feminicidios, proponemos abrir 
los datos de las sentencias judiciales como un paso hacia una reforma judi- 
cial feminista. Identificamos el potencial de los modelos de inteligencia arti- 
ficial (IA) para generar y mantener conjuntos de datos anónimos para 
comprender la violencia de género, respaldar la formulación de políticas e 


impulsar aún más las campañas de los colectivos feministas. 
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Las autoras de este artículo son cuatro mujeres latinoamericanas 
que se autoidentifican como feministas interseccionales, radicadas en el 
Sur Global (Argentina y México) y en el Norte Global (Suecia), realizando 
tareas laborales y voluntarias en una variedad de contextos (educación, in- 
vestigación y ONG, principalmente DataGénero). Encontramos inspiración 
en las ideas de gobierno abierto y, en particular, de justicia abierta. Nuestro 
enfoque de la ciencia de datos está influenciado por el Feminismo de datos 
propuesto por D'lgnazio y Klein en 2020, que plantea pensar sobre los da- 
tos, sus usos y límites, guiados por la experiencia directa y por un compro- 
miso con la acción y con el feminismo interseccional. Nuestra posición con 
respecto al uso de la |A en temas sociales es anti-solucionista, es decir, con 
este proyecto no esperamos que las herramientas basadas en lA "resuel- 
van" el problema de la violencia de género, dado que esto, además de ser 
éticamente irresponsable, no sería factible y porque creemos que los pro- 
blemas sociales requieren soluciones sociales. 

En este proyecto se propone la creación de un prototipo denominado 
AymurAl -en referencia al vocablo quechua aymuray o aymoray, cuyo sig- 
nificado se relaciona con las épocas de cosecha-, para uso en los juzgados 
penales de CABA y de México. Este prototipo empleará técnicas de lA para 
automatizar parcialmente la publicación y el mantenimiento de datos abier- 
tos del poder judicial en casos de GBV. Nuestra propuesta es generar una 
herramienta que pueda identificar fácilmente la información relevante en un 
documento de texto y extraerla como un conjunto de datos estructurado. 
Uno de los principales desafíos cuando se trabaja con documentos de texto 


es convertir información no estructurada en un conjunto de datos estructu- 
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rados, dado que esta tarea puede consumir mucho tiempo si se realiza 
manualmente. A pesar de que esta funcionalidad aparentemente está 
disponible en línea, estamos convencidas de que producir nuestras propias 
herramientas es el mejor camino, ya que estos sitios web suelen ser servi- 
cios pagos, pueden dejar de funcionar sin previo aviso, carecen de políticas 
claras de protección de datos o seguridad, y creemos que en el contexto 
latinoamericano es importante evitar depender de empresas privadas a la 
hora de crear tecnología. Nuestro objetivo es que AymurAl pueda ser utili- 
zado por cualquier persona del juzgado penal cuya tarea sea llevar un re- 
gistro de las sentencias judiciales firmadas por un juez. 

Abordaremos nuestras preguntas de investigación con un espíritu 
exploratorio, iterativo y centrado en las usuarias (aprovechando y priorizan- 
do el conocimiento del personal judicial penal y de las organizaciones femi- 
nistas locales que trabajan con datos de justicia), con una sólida presencia 
de cuestionamientos éticos a lo largo de todo el diseño y proceso de desa- 
rrollo. Nuestros próximos pasos incluyen decidir qué herramientas de lA 
son mejores para nosotras, comenzar el desarrollo de AymurAl y la poste- 
rior implementación de nuestra herramienta en el Juzgado Penal N* 10 de 


la Ciudad de Buenos Aires. 
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La lengua como territorio 
cognitivo y su relación con 
concepciones tecnológicasl?!! 


Yásnaya Elena Aguilar 


Colmix 
México 


La charla se titula “Lenguas como territorios cognitivos y nuevas 
tecnologías”. Quisiera poner antes en contexto, una de las cosas en las que 
me he involucrado ha sido en la diversidad lingúística, la lucha por los 
derechos lingúísticos, lo ya conocido. Pero en ese camino nos fuimos 
encontrando con un proceso que tenía que ver con cómo este tema 
también se estaba reflejando en las plataformas digitales. Tanto en internet, 
en las redes sociales, pero también en otro tipo de desarrollo, de apps y de 
software. Nos empezamos a dar cuenta de que había cada vez más perso- 
nas de pueblos indígenas que estaban trabajando en esto y empezamos 


ahí un proceso. Pero hay muchas cosas que me inquietan sobre ese 


[611 Esta ponencia magistral fue presentada en línea por la investigadora mixe Yásnaya Elena Aguilar Gil 
durante el Primer Encuentro Regional del hub de América Latina y el Caribe de la Red Feminista de 
Investigación en Inteligencia Artificial, f<a+i>r, realizado en marzo de 2022. La sesión fue moderada por 
Paola Ricaurte, líder del hub América Latina y el Caribe de la red f<a+i>r. La grabación de la conferencia 
está disponible en: https://youtu.be/fsy1sFijpqsO (N. de las E.) 
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proceso y que me hacen plantear varios asuntos, tanto éticos como filosófi- 
cos, y también de tipo linguístico. Esa es un poco mi experiencia con este 
tipo de procesos. 

Voy a empezar dando un breve contexto para que todas partamos del 
mismo piso sobre diversidad linguística actual y lenguas indígenas. Es decir, 
¿de qué hablamos cuando hablamos de lenguas indígenas? Lamentablemen- 
te, por las políticas públicas y por una serie de cuestiones políticas y sociales, 
es muy común que no sepamos sobre la existencia de las lenguas distintas a 
las que utilizan los Estados. Yo misma me enteré ya bastante grande de que 
en Francia, antes del establecimiento del francés, se hablaban más de 10 
lenguas. Son cosas que nunca pensaríamos, que en esa Francia europea, 
continental, en un Estado tan ejemplar de la construcción de un Estado en 
Occidente, no se hablara de esa diversidad. Entonces hay una especie de 
censura sistemática que hace que, por ejemplo, en México, suceda algo que 
no me parece nada lógico ni común, el hecho de que las personas en pro- 
medio no sepan cuántas lenguas se hablan en su paísl$21. Ese sería un dato 
básico, pero hay una especie de censura muy estructural. Por esa razón es 
que necesitamos este contexto. De ser una información compartida, no lo 
necesitaríamos y podríamos irnos directamente a otro punto. Trataré de ser 


breve para que podamos ir a las otras reflexiones. 


[62] En México hay 68 lenguas indígenas, de acuerdo con el catálogo “Variantes lingúísticas de México con sus autodenominaciones y 
referencias geoestadísticas”, publicado por el Instituto Nacional de Lenguas Indígenas. (INALI) Además de en español, el catálogo está 
disponible en cho'l de Chiapas, en mexicano del centro alto, en mixteco del oeste de la costa y en náhuatl de la 
Huasteca.www.inali.gob.mx/clin-inali/index_mexicano_centro.html (N. de las E.) 
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Figura 1 
Mapa “Idiomas del Mundo” 


LANGUAGES OF THE WORLD 


EACH DOT REPRESENTS THE PRIMARY LOCATION 
OF A LIVING LANGUAGE LISTED IN THE ETHNOLOGUE 


|e2004 SIL 


Adaptado de: Mapa Idiomas del mundo (reproducción Ethnologue)!631 
En general tenemos un contexto en el que las lenguas indígenas en 
el mundo se encuentran dentro de una diversidad linguística bastante 
grande. Este mapa (Figura 1) es un mapa bastante conocido de 


Ethnologue, que es un catálogo de lenguas en el mundo. Y hay una cosa 


[63] Cada punto representa la ubicación principal de un idioma vivo enumerado en Ethnologue. Fuente: Gordon, Raymond G. Jr. (ed.), 
2005. Ethnologue: Languages of the World, Decimoquinta edición. Dallas, Texas: SIL International.) Versión en línea en 
http://www.ethnologue.com: [1] (octubre de 2006). 
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muy interesante y es que aun cuando la humanidad comparte muchas ca- 
racterísticas en cuanto a sus sistemas de comunicación, también hay una 
gran diversidad. Hay una diversidad alucinante de lenguas, no es que sólo 
haya una lengua para toda la humanidad. Siempre es interesante saber por 
qué fue así, porque hay tantas. Claro, esto ha ido cambiando, y su distribu- 
ción ha sido afectada por muchas razones, ya que es algo que acompaña 
profundamente a la humanidad, pero actualmente existen entre 6500 y 
7000 lenguas en el mundo. Contar el número de lenguas no es una tarea 
muy fácil. Si me vuelven a invitar, luego les digo por qué exactamente 
contar lenguas y saber exactamente cuántas hay, aunque lo parezca, no es 
nada fácil. Por esto decimos que son entre 6500 y 7000 lenguas en el 
mundo. Hay gente que dice que son diez mil y gente que dice que son seis 
mil, pero ese es más o menos el rango. Y actualmente, estas lenguas están 
distribuidas en el mundo así, como se ve en el mapa (Figura 1). 

A mí me gusta mucho este mapa porque muestra cómo en la 
actualidad —no siempre fue así— los países del Norte Global tienen poca 
diversidad. Como podemos ver, la diversidad linguística se está concen- 
trando hacia el Ecuador. Si pensamos en el planeta como una esfera, yo 
siempre digo que está en su pancita, en medio de su pancita. Lo pueden 
ver, más o menos esta línea que recorre ahorita desde Oaxaca, 
Mesoamérica, hacia el área donde estoy, que se ve súper roja, nos vamos 
hacia África y luego Oceanía y es como una franja donde está gran parte 
de esa diversidad. También hay una relación que siempre repito y que es- 
pero algún día poder hacer una tesis de doctorado, si la vida me da, sobre 


si es una relación causal o no, o por qué los lugares del mundo con mayor 
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diversidad de lenguas también tienen mayor diversidad de especies bioló- 
gicas. Eso es increíble. Es decir, en la lista de países con más diversidad o 
más número de lenguas, también hay mucha diversidad de especies 
biológicas. ¿Es una relación causal o no? No lo sé, pero existe, o sea el 
dato está ahí. Y también en esta época del capitalismo tardío, no sorprende 
entonces que también las especies biológicas, junto con la diversidad 
lingúística, estén tan amenazadas. 

Entonces estos son esos países y esa es la distribución de las len- 
guas del mundo en la actualidad. Sin embargo, empezó a suceder algo, 
que tiene que ver con la construcción de los Estados, que en los últimos 
300 años cambió la proporción de hablantes. Antes era muy normal tener 
en un solo imperio mucha diversidad de lenguas y muchas lenguas que 
ahora consideramos indígenas tenían muchísimos hablantes. Esa propor- 
ción se ha visto modificada de tal manera que ahora el noventa y seis por 
ciento de la población mundial habla el cuatro por ciento de las lenguas del 
mundo, mientras que el cuatro por ciento de la población del mundo habla 
el 96 por ciento de las lenguas del mundo. ¿Esto qué significa? Esto va a 
tener consecuencias políticas y sociales. En general, esas poblaciones han 
sido minorizadas. No eran minoritarias, sino que han sido minorizadas, y 
por lo tanto van a estar encapsuladas dentro de otras estructuras sociopolí- 
ticas y luego van a tener poco poder de libre determinación y de autonomía. 
No van a tener un poder político para tomar determinación sobre sus terri- 
torios, sobre sus políticas sociales, educativas, etcétera. Esta proporción 
actual no es la proporción que siempre había habido. Por lo tanto, hay que 


decir que la diversidad linguística está depositada en la población que ha 
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estado siendo oprimida sistemáticamente. No es al revés. No es que los 
países ricos sean ricos en diversidad linguística, está sucediendo lo contra- 
rio. 

Pero insisto, esa proporción no siempre fue así. Hubo una coacción 
muy clara para que esta sea hoy sea la proporción. Y esto ha llevado a una 
situación en la que, según un catálogo, ustedes lo pueden buscar en Inter- 
net, está en inglés, se llama “Endangered Languages Catalog”, de la Uni- 
versidad de Hawaiiló“ que es una especie de observatorio, cada tres 
meses muere una lengua en el mundo. Y parece que eso se está incre- 
mentando, ese dato es de 2014, si no me equivoco, la tasa está por actua- 
lizarse. Lo que sí sabemos es que eso se está perdiendo muy rápidamente. 
Y bueno, esto sí ya es casi un lugar común: en menos de cien años, aún en 
este siglo, la mitad de las lenguas del mundo habrá desaparecido. Es un 
lingúicidio que nunca había sucedido con anterioridad. Y esto mucha gente 
lo atañe a la globalización. Y ahí es donde las tecnologías digitales, las re- 
des sociales y todo esto, esto que nos permite estar hablando ahorita, se ve 
como una amenaza. Sin embargo, yo no estoy de acuerdo. No creo que 
sólo sea la misma existencia de estas nuevas tecnologías, sino más bien 
que eso tiene que ver con otro tipo de procesos a los que me voy a referir 


más adelante. 


[64] http://ling.hawaii.edu/research-current/projects/elcat/ 
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Ya vimos aquí qué bonita diversidad. Hay un montón de lenguas. 
Todas son iguales científicamente hablando, pues todas tienen componen- 
tes sintácticos, fonológicos, igual de complejos. Todas las lenguas. No le 
falta nada a ninguna. Todas tienen lo que un sistema de comunicación hu- 
mano debe tener, que ha tenido siempre. Fonologías complejas y comple- 
tas, sistemas sintácticos, semánticos, léxicos. Todas son iguales, 
comparativamente hablando. Tendrán diferencias en cuanto a que en cada 
lengua dices una cosa de una manera, pero todas tienen palabras y todas 
sirven igual para la comunicación. Es decir, no hay una lengua que sea 
mejor para comunicar que otra. El hecho de que una lengua se elija como 
lengua franca o lengua vehicular, que comunica diferentes lenguas, es un 
asunto más bien social, por eso va cambiando. Antes fue el latín, luego fue 
el francés, ahora es el inglés y el chino mandarín ya viene pronto. Pero eso 
no tiene nada que ver con su complejidad, no hay lenguas más útiles a la 
comunicación que otras. Nos tocan las que nos tocan, una o dos o tres, por 
razones geográficas, sociales. 

De toda esta gran diversidad, algunas lenguas han sido catalogadas 
como lenguas indígenas y otras no. La gran pregunta es: ¿qué hace que 
una lengua sea indígena y otra no? Esto parece una pregunta muy obvia, 
pero no lo es en absoluto, como lo vamos a ver. Por ejemplo, hay una len- 
gua indígena que se llama sami, que se habla en Noruega, en Rusia, en 
Suecia y en Finlandia. Y esta lengua es hermana de la lengua que se habla 
en Finlandia, o sea, del finlandés o finés. Lo que a mí me impresionó mu- 
cho es que son lenguas hermanas, muy cercanas, como el español y el ita- 


liano, pero el sami es considerado una lengua indígena y el finlandés, no. 
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Entonces mi pregunta era, si vienen de una misma raíz, ¿por qué una es 
lengua indígena y la otra no? Es como si la hermana de mi lengua materna 
mixe, que es el soke, fuera catalogada como no indígena y el mixe, sí. En- 
tonces mi pregunta era ¿por qué? Una posibilidad tiene que ver con una 
solución aparentemente fácil, que sea por el número de hablantes, ¿no? Y 
bueno, no necesariamente. No hay hablantes vivos de latín. El latín que 
conocemos, ese que escuchamos en las misas, bueno, quienes hayan es- 
cuchado misa, o ese que hablaba Séneca, ya nadie lo habla. Ya nadie lo ha 
adquirido. Una lengua viva es aquella que está siendo adquirida por la po- 
blación infantil y hoy nadie lo está haciendo, nadie está adquiriendo el latin 
como primera lengua, como lengua materna, por lo que esa es una lengua 
muerta. Tiene un número de hablantes no orgánicos y no por eso es una 
lengua indígena, y no por eso sufre discriminación. Es decir, yo puedo sa- 
car en un cajero en el Vaticano, un cajero que me va a dar el servicio en 
latín, pero en mixe, que sí, es una lengua viva, no. Así que eso tiene que 
ver con otras situaciones. El caso del danés también o del yoruba, que es 
una lengua indígena que se habla en el centro de África. El yoruba tiene 
cuatro veces más hablantes que el danés, el danés tiene muy poquito en 
comparación, pero el danés no es una lengua indígena y el yoruba sí. Yo- 
ruba está perdiendo hablantes, los derechos lingúísticos de sus hablantes 
están siendo amenazados, pero el danés, no. Tampoco hay un desprecio 
interiorizado. No hay familias danesas que digan “por fin aprendí inglés, 
debo olvidar esta horrible lengua que es el danés”. Eso no sucede. ¿Por 
qué con las lenguas indígenas sí? Muchas tenemos más hablantes que el 


danés o el sueco o el noruego, por ejemplo. Si no tiene que ver con el nú- 
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mero de hablantes, ¿qué es lo que hace que una lengua indígena o no? Y 
por lo tanto, que pueda tener una representación en internet, por ejemplo, 
distinta a otras. 

Vamos a hacer una pequeña trampa y pensar que una lengua indí- 
gena es la que habla un pueblo indígena, parece obvio ¿no? Pero la pre- 
gunta sigue ahí, ¿qué hace que un pueblo sea indígena y otro no? ¿Qué 
hace que el pueblo yoruba sea un pueblo indígena pero el pueblo danés, 
no? O que los finlandeses no sean indígenas, pero los sami, sí, aunque ha- 
blan lenguas muy semejantes. En este continente, claro, eso está muy re- 
lacionado con la historia colonial. Y con la racialización de lo indígena. 
Sabemos que las razas biológicamente no existen, que hay un proceso de 
racionalización, es decir, de creer que cierto segmento de la población es 
una raza. Esa es la racialización con base en ciertas características. Bueno, 
para la nación sami, toda esa racialización del color de la piel choca un po- 
co, porque la nación es un pueblo indígena, pero todo lo que entendemos 
sobre el color de la piel es muy diferente. Son personas muy, muy blancas, 
pero son indígenas. Entonces la pregunta otra vez es qué compartimos. 
¿Yo qué comparto con mujeres sami? En la Figura 2 están en una mani- 
festación en una ciudad de Noruega porque están luchando también por su 


territorio. 
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Figura 2 


Samis protestando. 


Adaptado de: reproducción (Ókologix/Wikipedia) 


Yo no conozco la nieve, nunca he visto la nieve en mi vida, pero este 
pueblo vive en medio de la nieve. Empecé a sentir entonces que, cultural- 
mente, yo tengo más en común con una persona no indígena del Valle de 
Oaxaca que con los sami, que son indígenas. Así que no es un asunto, o 
una categoría, cultural. ¿Y qué tenía que ver con la nación mixe? Nos en- 
canta el basquetbol, en la sierra. ¿Y qué tenía que ver aun así con la na- 
ción Ainu? Esta es una foto de los ainu, que son un pueblo indígena en 


Japón. (Figura 3) 
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Figura 3 


Pueblo ainu protesta en Japón. 


EAN SB) 7 RA 


Adaptado de: Lewallen, A. E. (2008) Indigenous at last! Ainu Grassroots Organizing and the Indi- 
genous Peoples Summit in Ainu Mosir" The Asia-Pacific Journal, Vol. 48-6-08, November 30, 2008 


Aquí están en una manifestación que dice “We want the indigenous 
rights”!$51, Y hay pueblos y naciones indígenas en China, en Estados Uni- 
dos, en Brasil, por supuesto. En Argentina también, en Chile también. Hay 


pueblos indígenas en todo el mundo. Mi pregunta es, ¿qué lo sostiene? 


[651 “Queremos los derechos indígenas.” (N. de las E.) 
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¿Por qué una persona mapuche en Chile, una persona ainu en Japón, una 
persona sami en Noruega y yo, en Oaxaca, somos indígenas? ¿Qué nos 
une? 

Para mí es un asunto que tiene que ver más bien con un tema políti- 
co. Lo que compartimos son dos características. Somos pueblos que su- 
frieron un tipo de colonialismo antes de que se formaran los países. Pero 
no sólo eso, porque en África hay pueblos que sufrieron colonialismo euro- 
peo, pero que al convertirse en países dejaron de ser considerados indíge- 
nas. Así que también hay que cumplir con el siguiente requisito: ser pueblos 
que no conformaron un estado nación y quedaron encapsulados dentro de 
alguno. Y eso es muy, muy importante. El hecho de que el mundo esté di- 
vidido en un poco más de doscientos países en la actualidad, de que haya 
doscientas fronteras, doscientas banderas, doscientos himnos, es algo 
muy, muy nuevo en la humanidad. El hecho de que yo necesite un pasa- 
porte no tiene ni 300 años, eso es muy poquito en la historia de la humani- 
dad. Y estas entidades que se llaman países no se hicieron con base en 
fronteras culturales, sino por asuntos de poder. Y controlaron muy bien 
ciertas fronteras y crearon discursos, como si ser mexicano, por ejemplo, 
fuera una categoría cultural. Y tampoco lo es. Es un estatus legal, significa 
que tú estás regido bajo este conjunto de leyes. Eso es lo único que com- 
partimos todas las personas mexicanas. Entonces, al crear eso, había algo 
que les estorbaba. No bastaba con decir pues está la ley porque sí, sino 
que tenían que decir qué tenemos un pasado común, una lengua común, 
un todo en común. Y entonces empezaron a combatir cualquier otra identi- 


dad que no fuera la que promovía el Estado. Así que eso es lo que com- 
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partimos los pueblos indígenas. Por eso, como no hay un país sami, como 
no se conformó un Estado, el pueblo sami es un pueblo indígena. Finlandia 
no, porque si lo conformó. Los yoruba podrán ser muchísimos, pero como 
de sus territorios quedaron desplazados en varios países, entonces son un 
pueblo indígena. Los daneses de Dinamarca, no. ¿Por qué? Porque por 
muy pequeños y poquitos que sean, hicieron su país aparte, independien- 
tes. Entonces es un asunto de poder. Por lo tanto, una lengua indígena es 
una categoría política. Es decir, son las lenguas que hablan estos pueblos 
que no tienen un Estado independiente. 

Por esta razón, yo me peleo mucho con el hecho de que lo indígena 
se vea como algo esencial. O sea, yo esencialmente no soy indígena, estoy 
en esa condición política. Entonces, como dice el historiador Sebastian van 
Doesburg, si arbitrariamente fijamos el comienzo de los pueblos mesoame- 
ricanos con la domesticación del maíz, llevaríamos unos 9000 años siendo 
zapotecos, de los cuales 500, indios, y 200, indígenas, porque eso es lo 
que se empezó a usar con el establecimiento del Estado. Entonces, es una 
condición histórica y eso nos permite pensar en un futuro donde podamos 
seguir siendo mixes sin ser indígenas, que haya desaparecido esa cate- 
goría que viene de una opresión. Por lo tanto, esa es una categoría muy 
política. Son lenguas que hablan pueblos o naciones que no formaron Es- 
tados, que no son utilizadas ni reivindicadas por un Estado. El finlandés, sí, 
el finés, lo usa el estado de Finlandia para la educación, para todo. Pero el 
sami no, los niños y las niñas sami tuvieron que ir a escuelas para que obli- 
gadamente aprendieran un noruego, finés o sueco y les negaron hablar su 


lengua. Lo que esos estados han hecho es que si tú no hablas la lengua del 
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Estado, te vamos a hacer todo para que te olvides de tu lengua, violando 
tus derechos humanos y tus derechos linguísticos. Parafraseando al 
linguista alemán Max Weinreich, esas son lenguas sin ejército ni marina, es 
lo único que compartimos. 

En el caso de México, son lenguas que descienden de las que se 
hablaban cuando llegó Cortés y que han sido discriminadas y combatidas 
activamente por el Estado. Esa es una característica muy interesante. Y 
bueno, no es casual que esto suceda después de la conformación de los 
Estados-nación. Si pensamos que hay seis mil quinientas lenguas en el 
mundo y sólo doscientos países, y cada país eligió una lengua, eso quiere 
decir que hay seis mil trescientas lenguas que están siendo combatidas por 
el Estado y que sólo doscientas se usan desde el poder. Y no sólo es que 
hayan elegido una para usar el poder, sino que además les molesta que 
existan más. Eso es bien interesante:el modelo de país está bien obsesio- 
nado con el monolinguismo. Les encanta eso. La premisa de los países es 
el monolingúuismo. Y esto se está empezando a reflejar también en las pla- 
taformas digitales. Además, en este continente en el que estoy, la mayoría 
de los Estados, de los países, eligieron sólo una lengua. Y ni siquiera son 
doscientas, ya que no es que cada uno haya elegido a uno más, en Perú, el 
quechua, en México, el náhuatl, y en Guatemala, el kagchikel. No. La ma- 
yoría decidió elegir el español, así que ya son menos. Así que, por ejemplo, 
en México, hay una monolinguización progresiva y diseñada. Aquí tenemos 
un mapa del monolingúismo en México (Figura 4) que está elaborado por 


Julio César Gallardo, del colectivo al que pertenezco, Colmix. 
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Figura 4 


El monolingúismo en México 


EL MONOLINGÚISMO EN MÉXICO 
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Elaboración propia con base en el Censo de Población y Vivienda 2010, INEGI. 


Reproducción: Julio Cesar Gallardo/COLMIX 


Entre más claro es el color, menos monolingúismo hay. Como pode- 
mos ver, son los pueblos indígenas los que tienen a México no tan mal en 
la lista del multilingúismo. Pero en realidad la mayoría de la población es 
monolingue, porque la existencia de la enseñanza del inglés también es un 
fracaso. Puedes pasarte doce años en la escuela básica con clases de 
inglés y no aprender y claramente el problema no es de los estudiantes. 


Son demasiadas horas estudiando inglés sin que podamos aprenderlo, hay 
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un problema en su didáctica estructuralmente. Entonces, tampoco el inglés. 
Así que de ser un territorio rico, con sociedades multilingúes, como se ha 
visto que había, México está pasando a ser monolingúe, con muchas con- 
secuencias. Porque además cognitivamente hay muchas ventajas de ser 
bilingue o trilingúe. Es algo que es natural en las sociedades, el cerebro 
humano no dice “oye, ¿quieres aprender este inglés? Desinstala tu mixe, 
que ocupa espacio en tu cerebro”. Se crea una falsa disyuntiva entre el 
inglés y las lenguas indígenas. El cerebro no es así. El cerebro dice: “pues 
las que quieras”. De hecho, hay un límite, en realidad por memoria, no por 
capacidad. Por eso hay personas que hablan muchas lenguas. El cerebro 
humano lo puede hacer, nada lo imposibilita. 

Así es que se ha creado ese monolingúismo y estamos viendo todos 
los problemas de eso. En 1820, después de 300 años de colonialismo eu- 
ropeo, el 70 por ciento de la población hablaba una lengua indígena, el 70 
por ciento en este territorio. Una sociedad bastante multilingúe, en donde el 
náhuatl, sobre todo, era la lengua franca. Pero las lenguas francas no han 
atentado en contra las demás, no es el hecho que el inglés sea la lengua 
que comunique con mucha gente lo que automáticamente hace que las 
otras lenguas desaparezcan. El latín jamás atentó contra las demás. Nunca 
vimos tanta muerte de lenguas porque el latín fuera la lengua franca, ni por 
el francés o por el hecho de que el náhuatl fuera la lengua franca en este 
territorio, eso no implicó la muerte de las otras. Por eso no creo que sea por 
la globalización. Las personas en Dinamarca aprenden danés y también 
aprenden inglés, sin ningún problema. Podríamos perfectamente hablar de 


mixe y zapoteco y español e inglés. 


Inteligencia Artificial Feminista 
Hacia una agenda de investigación en América Latina y el Caribe 1 7 1 


La lengua como territorio cognitivo 
y su relación con concepciones tecnológicas 


Como vemos, el Estado se empeñó sobre todo mediante políticas 
contra la población infantil. Y yo creo que sí es muy importante decirlo, fue- 
ron casos de tortura física. Todavía en 2015 hubo reportes de una escuela 
en Oaxaca donde a los niños los mandaban a limpiar las letrinas cada vez 
que hablaban en su lengua. Y con una serie de otros castigos en los que no 
me voy a detener acá, pero que violaron los derechos humanos, de la po- 
blación infantil sobre todo, pero de muchas personas. Y eso sigue pasando. 

Entonces en 200 años sucedió esto: en 1820, tenemos el 70% de la 
población que habla una lengua indígena y en el 2020, el 6.1%. El descen- 
so de 2010 a 2020 fue dramático. De verdad que ni quería ver los resulta- 
dos del Censo 2020. Estaba muy temerosa porque yo sabía que algo 
estaba pasando, pero fue catastrófico. Fue muchísimo más de lo que está- 
bamos calculando que iba a suceder. Hubo lenguas que perdieron en diez 
años el 20% de su población hablante y una muy cercana al 30% también. 
Esa es la situación en la actualidad. 

Pensando que las lenguas son territorios cognitivos, aquí quisiera 
decir algo que parece provocador, pero es para poder dar pie a otro tipo de 
reflexión. La provocación es decir que la lengua no es cultura. Me vas a 
decir, ¿cómo que la lengua no es cultura? Sí, la lengua es algo de toda cul- 
tura. El problema es que en español, en inglés no, pero en español, la pa- 
labra cultura tiene dos significados grandes. Una es una definición 
antropológica, en donde todo es cultura. El hecho de decir que hay eleccio- 
nes democráticas y que hay un Instituto Nacional Electoral, eso sería cultu- 
ra política. La cultura occidental en un sentido antropológico. Sin embargo, 
también en México, en español, hay una definición de cultura como mani- 


festación estética o artística. Entonces tenemos ministerios de cultura o se- 
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cretarías de cultura. La provocación de que la lengua no es cultura va en el 
sentido de que la lengua no es un rasgo artístico. No debería estar en los 
ministerios de cultura. ¿Por qué? Porque la lengua, a diferencia de la dan- 
za, por ejemplo, o de la música de los pueblos indígenas, no es un evento. 
No quiere decir que no son importantes, las danzas son fundamentales, la 
música también. Pero no todo el tiempo estamos danzando. La danza tra- 
dicional tiene un momento en que sucede. La música, la podemos escuchar 
o ejecutar, tiene su momento. La comida también, hay un momento para 
comer. También los textiles, hay un momento para hacerlos. Pero la lengua 
no, no es “ya, tuve mi evento lingúístico y ya”. No. La lengua nos atraviesa 
totalmente, nos atraviesa desde que amanecemos y pensamos “híjole, ya 
se me hizo tarde, no debí apagar ese despertador”. Eso sucede en una 
lengua. Después vengo y doy esta charla y en esa charla estoy usando una 
lengua. Y el hecho de que estoy usando español y no náhuatl tiene un tras- 
fondo político. Pudo haber sido que ahorita estuviéramos hablando en 
náhuatl, y el hecho de que hablemos en español y no en náhuatl o en mixe 
tiene consecuencias y tiene una explicación. Y aún más, yo puedo pelear- 
me con mi novio, regañar a mi gato y voy a usar una lengua. Puedo callar- 
me y estar pensando “qué aburrida presentación” y lo voy a hacer en una 
lengua, mi pensamiento lo va a vincular a una lengua. Puedo incluso no 
estar hablando y la lengua está presente. Es más, puede incluso ser un 
fenómeno involuntario. Podría dormir y soñar y voy a soñar en una lengua, 
las personas de mis sueños van a estar hablando en cierta lengua. Y eso 
quiere decir que, incluso más allá de mi voluntad, lo linguístico empapa to- 
do. No sólo es un instrumento de comunicación, sino de pensar, o sea, de 


ser humanidad. El racismo, claro, hace que despreciemos nuestros textiles, 
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nuestras danzas, nuestro ser, eso se desprecia, se ve racializado, se ve 
mal. Pero en la lengua nos estamos metiendo con el instrumento cognitivo 
con el que estamos construyendo las sociedades en las que estamos. Y 
también el pensamiento. La lengua es un vehículo también para aprender 
del mundo. Cuando a mí me enseñen por fin a programar un código de 
programación, la persona que va a estar hablando ahí lo va a hacer en una 
lengua. No hay manera de escapar a lo linguístico, nos hace profundamen- 


te humanas, nos atraviesa. 


Territorios cognitivos despojados 


Por lo tanto, despojar violentamente de ese instrumento de pensa- 
miento es algo muy violento. Es como si cada vez que quisieras expresar 
un pensamiento en tu lengua, yo te golpeara, eso es lo que sucedió con la 
población infantil. Y además, quisiera que te expresaras en una lengua en 
la que apenas estás aprendiendo. En esos procesos de desplazamiento 
hay problemas cognitivos serios. Porque no puedes expresarte con todos 
los mecanismos léxicos, semánticos, cognitivos en tu lengua, pero tampoco 
has alcanzado a agarrar las de la lengua que te están imponiendo. 

Entonces hay una relación muy fuerte entre la autonomía, el territorio 
y la lengua. El sistema educativo que está en español, el sistema judicial 
también. Hay un montón de personas en la cárcel que no se han enterado 
de qué van sus juicios porque no tienen intérpretes. Hay amigas mías que 
han sufrido en los hospitales violencia obstétrica de la peor, porque no ha- 


blan su lengua y no les facilitan un intérprete. Y ahí se te va la vida. En el 
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judicial se te puede ir la libertad. En todas las áreas, están empujando a 
que no podamos vehicular nuestro pensamiento ni nuestra comunicación 
en nuestras lenguas. Entonces, entre mayor autonomía hay para un pueblo 
indígena, mayores posibilidades hay de que pueda fortalecer su lengua. 
Lamentablemente, la respuesta del gobierno actual en México es terrible al 
respecto, no hay mucho cambio. Hay un recorte presupuestal terrible en el 
área. O sea, del Estado al parecer no va a venir la solución, va a seguir con 
esta inercia, aunque ha cambiado en el discurso. 

La violación sistemática de los derechos lingúísticos es el despojo de 
un territorio cognitivo. Nuestras visiones de la naturaleza ante el cambio 
climático, por ejemplo, nuestras maneras de clasificar las especies que 
están en esos ecosistemas, nuestra relación con los bienes naturales como 
el agua, etcétera, están atravesados por cómo los categorizamos en nues- 
tra lengua. No es que se nos despoje solo de un aspecto, un rasgo de 
nuestra cultura. No, la lengua vehicula todo eso. A diferencia de las danzas, 
de la música, la lengua no necesita un espacio para para ocurrir. Más bien, 
hace que ocurra todo lo demás. ¿Cómo puedo pensar mi territorio, cómo 
puedo, o lo que sea, sin lengua? Es que simplemente dejas de ser se ser 
parte de la humanidad, de la sociedad en la que eres. Pensarse sin lengua 


es muy difícil. 
¿Cómo podemos disociar la innovación tecnológica del 
capitalismo? 


Compartimos una visión amplia de la tecnología. Esto viene de una 


tradición muy occidental, en donde se separó la naturaleza de la humani- 
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dad, es una vieja discusión en Occidente. Siempre se dice: “¿eso nació o 
se hizo?” Lo que nace es de la naturaleza, lo que ya viene ahí. Y lo que se 
hizo, es la sociedad, la humanidad. Y entonces hay una diferencia entre lo 
silvestre y lo natural y la civilización y lo humano. Y esta división no funcio- 
na para nada en muchos pueblos indígenas, no funciona para todas las na- 
ciones del mundo. Es obvio que eso es muy occidental. Cuando tú ya 
separaste a la naturaleza de la humanidad, ya no te sientes o te concibes 
como un mamífero más, o unas mamiíferas más, del ecosistema en el que 
estés, entonces ya puedes explotar la naturaleza. ¿Y cómo la vas a explo- 
tar? Pues con técnica. La voy a explotar con técnica, la tecnología va a es- 
tar al servicio de eso, y vamos “Wow, la humanidad es tan inventiva, tiene 
tanta técnica”, y por lo tanto todas esas herramientas son tecnología. 

Sin embargo, para otras culturas la tecnología va a ser mucho más 
compleja. Esta relación no va con su ambiente. Va a estar mucho más ali- 
neada con la diversidad. Por ejemplo, en la tradición de pensamiento mixe, 
la milpa, que es un sistema cultivo bien complejo, que tiene un montón de 
desarrollos adaptativos de miles de años, es un tipo de tecnología. Pero 
sobre todo en la actualidad se ha hecho casi un sinónimo de hablar de tec- 
nología y capitalismo. La tecnología además es algo muy celebratorio, a mí 
también me gusta mucho, la innovación, la creación, que media entre las 
sociedades y también entre nuestros entornos. Pero esa fascinación por 
crear y pensar e innovar de la humanidad fue capturada por el capitalismo. 
Entonces, de la tecnología de la que se habla generalmente, yo siempre di- 


go “ah, no, esa es la tecnología capitalista”. 
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Pero existe tecnología fuera, por lo menos en las periferias del capi- 
talismo. Si aceptamos que no hay vida fuera del capitalismo, podemos 
aceptar que por lo menos hay espacios periféricos, como varios teóricos 
han planteado. Por lo tanto, ¿cómo podemos disociar la creación tecnológi- 
ca, la innovación tecnológica, del capitalismo? 

Primero, se plantea como si antes del capitalismo y de la revolución 
industrial no hubiera tecnología, cuando sabemos que en todo el devenir de 
la humanidad siempre ha estado ahí. La escritura es una tecnología, el sis- 
tema milpa es una tecnología, siempre ha habido tecnología. Ahora, el últi- 
mo desarrollo tecnológico, desde la revolución industrial, que se está 
acabando el planeta, ha configurado una tecnología que ha sido funcional 
para poner a la humanidad en esta crisis en la que estamos con el cambio 
climático. Además, estos equipos que tenemos acá necesitan de insumos 
naturales, necesitan petróleo, plástico, tienen adentro minerales que están 
siendo extraídos de ciertos territorios. Entonces no podemos disociar ese 
desarrollo o no podemos hablar de la tecnología sin los sustentos, sin el 
hardware. Y el hardware viene de algún lado. Por más que algo sea wire- 
less, y por más que hoy día parezca que hay algo en el aire, que es el wifi, 
que posibilita que hablemos, eso no es verdad. Hay unos servidores que 
tiene Zoom y que seguramente necesitan enfriarse, y para eso necesitan 
energía, y esa energía va a salir de algún lado, y necesitan cables. Todo 
esto del Wireless es como una pantalla que está ahí, pero que sí está sus- 
tentado en cosas tangibles. Y esas cosas tangibles están siendo extraídas 
de cierto territorio, afectando la vida de ciertas personas, y además explo- 


tando cierto tipo de cuerpos. 
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Entonces, al recordarlo todo el tiempo, podemos empezar a decir si 
es posible plantear otro tipo de tecnología y cómo podemos hacer para que 
sea más justa. Cuando hablamos de esta relación, casi siempre en la con- 
tra-argumentación, la gente sale con una falacia, que yo le llamo la falacia 
ad iPhone. Así como hay ad hominem, esa es la ad iPhone, porque siempre 
te terminan diciendo “sin el capitalismo y esta tecnología, tú no tendrías un 
iPhone y no estarías ahí discutiendo desde fuera”. Bueno, yo no tengo un 


iPhone, pero para el caso es lo mismo. 


Conocimientos comunales 


Lo que se ha visto es que esta natural curiosidad e impulso de inno- 
vación que hay en la humanidad, que es la tecnología, que media, que de- 
sarrolla instrumentos y que crea y media la relación entre los ambientes, los 
ecosistemas, las personas y las sociedades, está siendo privatizada. Se 
volvió mercancía. La milpa, que es una tecnología que les digo que tiene un 
montón de de cosas desde hardware, es decir, tiene una serie de elemen- 
tos que puedes tocar, también tiene una serie de conocimientos tecnológi- 
cos, técnicas de cómo implementarlos para tener milpa, y que se opone a la 
lógica del monocultivo. Existe esta manera de relacionarse con el territorio 
a través de la milpa que no es de nadie. No tengo que pagarle una patente 
a quien haya inventado la milpa para que me deje usarla. Es decir, hay un 
montón de desarrollo tecnológico en muchos pueblos y en muchas tradicio- 
nes que no se han vuelto mercancía. No tienen patentes, nadie me va a 


decir que soy una pirata, se entiende que es un conocimiento comunal. 
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Y en realidad, si nos acercamos un poco, la tecnología capitalista 
también lo es. Cuando alguien me dice “bueno, pues ustedes serán muy 
pueblos indígenas, pero no han podido desarrollar un iPhone”, yo les digo, 
claro que yo reclamo, nada más que para que alguien desarrollara un ¡Pho- 
ne, llegamos a ese punto, o para que tuviéramos un iPhone, o cualquier tipo 
de avance tecnológico, el que quieran, hubo gente que pudo dedicarse a 
pensar y para eso esclavizó a otra. Y hubo un montón de personas que les 
estaban cocinando y éramos mujeres, Y hubo un montón de territorios de- 
vastados que resulta que eran los nuestros. Entonces, las ganancias las 
estás privatizando, pero yo puse también, yo puse ahí mi trabajo. Mucha de 
la tecnología no se pudo haber desarrollado sin la esclavitud, sin los siste- 
mas esclavistas. Yo también tengo derechos, nada más que todas las ga- 
nancias te las estás quedando tú. Y las desventajas y las pérdidas, las estoy 
sufriendo yo, sobre los cuerpos y sobre los territorios. Así, yo siento que 
también invertí en eso, pero más bien las ganancias se las lleva alguien más. 
Y eso sabemos también sobre la participación de las mujeres. Para que los 
hombres se pusieran a hacer sus innovaciones tecnológicas, se usó el tiem- 
po y el esfuerzo de nosotras. Por lo tanto, también tenemos mérito en eso. 

Al hacer esto, también la tecnología ha contribuido a ver la naturale- 
za como un otro que puedes explotar y convertir en mercancía. Ahí es 
cuando esa tecnología se vuelve un poco malvada o juega en contra del 
planeta. ¿Qué sucede en esos otros principios tecnológicos de pueblos 
indígenas o de tradiciones que no son capitalistas, o que o que plantean 
otro tipo de alternativas? Primero es que naturaleza y humanidad no pue- 


den ser separados. Por eso mucha gente ve como pensamiento primitivo el 
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hecho de que pidamos permiso a la tierra para sembrar, por ejemplo. Pero 
nosotros decimos “no, no podemos separar la tecnología milpa del ritual”. 
De pronto, tenemos cierta experiencia. La mayor parte de las reservas na- 
turales en el mundo están en manos de pueblos indígenas. Sospechamos 
que tenemos algo que decir al respecto para posibilitar la vida. Y la emer- 
gencia climática ya nos está trayendo mucha muerte. 

Entonces la pregunta es ¿para qué necesitamos progreso tecnológi- 
co? ¿Necesitamos progreso o podríamos adaptar la tecnología a otra idea, 
que es el buen vivir? Esa idea está en muchas lenguas, hay diferentes ma- 
neras de llamarlo. Está el Sumak Kawsayl*fl, está el Sumaq Qamañal*”, 
hay muchas maneras en muchas lenguas de decir *vivir bien”. La idea de 
progreso nos está llevando a un punto en el que estamos, no nos está lle- 
vando un buen vivir si se plantea que vamos a tener una catástrofe climáti- 
ca. Entonces, ¿para qué necesitamos el progreso? 

Hay gente que me dice “bueno, es que tú quieres en un mundo primitivo 
sin celulares”. Y yo contesto “no, no es que yo quiera eso, lo que quisiera 
es nada más que los celulares no respondieron a la lógica del mercado”. Si 
necesito un celular para hablar con mi abuela, que está muy lejos y está 
enferma, muy bien. Pero que no tenga que cambiarlo cada vez que el mer- 
cado me diga, a cada año tener un nuevo teléfono, el más actualizado, 


etcétera. Eso son cosas distintas. A eso se ponen las tecnologías de la di- 


[66] En quechua. (N. de las E.) 


[67] En aymara. (N. de las E.) 
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versidad, luego con más tiempo hablaré. Un ejemplo es el sistema milpa, 
pero hay muchos ejemplos de esa tecnología de la diversidad, que respon- 
den a darte una mejor calidad de vida. Porque la tecnología actual, aunque 
te diga que te va a dar una mejor calidad de vida, lo que te está dando es 
una emergencia climática. Yo quisiera ver entonces cómo es posible que 
estas tecnologías que vienen de la tradición capitalista puedan ser hackea- 
das, y creo que gran parte del trabajo que hacen ustedes va hacia allá, que 
puedan ser hackeadas, replanteadas, hasta encontrarnos con una idea que 
es el tequio. Seguramente muchas de ustedes lo conocen, tal vez algunas 
no, pero tiene que ver con una institución social de colaboración, que yo 
llamo reciprocidad. No es que los pueblos indígenas seamos bien buena 
onda y muy buena gente, no es un asunto moral, en el que todos nos ayu- 
demos, porque vivimos en un mundo ideal, en donde nos agarramos de la 
mano y decimos “sí”. No, tiene que ver con un asunto de una conciencia 
profunda de que mi bien individual depende de un bien colectivo, hasta 
podríamos decir que es conveniente, si lo quieren ver así. Esta reciprocidad 
se da entre familias, se llama también mano vuelta o tunjénpet. Si tú vas a 
hacer una boda, pues yo te voy a poner cinco litros de mezcal, suponga- 
mos. Y cuando yo vaya a tener una fiesta, te voy a avisar con tiempo para 
que después tú me des a mí. Esto aplicado a muchísimas cosas, de ver- 
dad, incluso a la economía. En el mercado hay un sistema que cada vez 
más se está perdiendo, pero ahí está. Y la reciprocidad colectiva, si tene- 
mos un problema, si se desgajó el cerro, vamos todos a resolverlo. Si tene- 
mos un deseo, una fiesta, es un deseo colectivo. Eso se hace y está muy 


institucionalizado, esta tarea de trabajar juntos gratuitamente para un bien 
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común. Y en diferentes pueblos recibe diferentes nombres: minga, lum- 
bung, kol, tequio, kumunytunk, paina, faena. Es decir, no es algo periférico 
ni menor. Entonces, uniendo tecnología con la palabra tequio, que es cola- 
borativa, inventé este neologismo que es la tequiología. Una tecnología 
desde la reciprocidad, que no esté bajo los intereses del capitalismo, un 
desarrollo tecnológico colaborativo. El software libre es lo más cercano a 
este tequio que ya conocemos en nuestras comunidades. No es igual, pero 
es lo más cercano. Las tecnologías de código abierto, la milpa sería una, 
las podemos ir mejorando. Entonces, ¿qué hubiera sido del desarrollo, de 
la innovación tecnológica, de no haberse atravesado el capitalismo, ni las 
patentes, ni los códigos cerrados? Seguramente tendríamos más avances, 
si lo queremos ver desde ese punto de vista. No es que el capitalismo haya 
hecho que la tecnología haya avanzado, para mí incluso la retrasó, porque 
no puedo entrar a mejorar un código, no puedo entrar a hacerlo si no me 
permiten participar de ello. Así podríamos pensar en tecnologías contra-ca- 
pitalistas, en las que las tequiologías tengan un lugar. 

Y las lenguas indígenas se encuentran en esta situación, en donde 
lo que hemos hecho por la tecnología en los pueblos indígenas es dar 
nuestros recursos naturales. Meten minería en nuestros territorios, explotan 
nuestros cuerpos históricamente. Hay crónicas desde el siglo XVI sobre 
trabajo forzado en minería. Hemos participado de eso, pero ahora nos di- 
cen que no tenemos ningún crédito en ello. 

Ahora nos acercan un poco, muchas veces como diciendo “pobreci- 
tos, no han tenido tanto acceso a la tecnología y ahora les vamos a en- 


señar”. Es una visión muy estrecha de la tecnología. Pero bueno, ahí 


Inteligencia Artificial Feminista 
1 82 Hacia una agenda de investigación en América Latina y el Caribe 


La lengua como territorio cognitivo 
y su relación con concepciones tecnológicas 


estamos y es verdad que tampoco tenemos muchas opciones. Entonces, 
¿cómo hacemos para utilizar esas plataformas para ayudar un poco a 
nuestras propias resistencias en lo que creamos un mundo post capitalista 
tequiológico? Mientras, necesitamos interactuar, claro. 

Acá les enseño cómo se construyen las casas en donde se hace co- 
lectivamente. A cada uno, en una unidad familiar, colectivamente se le cons- 
truyó una casa. Así, se garantiza el derecho al techo de otra manera. 
Entonces, supongamos esto mismo, pero con tecnología y con nuevas tecno- 
logías. Bueno, hay un montón de tecnologías, dado que somos humanidad, 
pero ahora hablando específicamente de estas digitales. Lo que ha hecho el 
sistema y el Estado es crear nichos de tecnología para nuestras lenguas. 
Puedes hacer una app de cuentos, pero nada más para la literatura. Para el 
sistema de salud no. Acceso a nuevas tecnologías para administración de 
justicia, olvídenlo. Para administración pública, tampoco. Se lo hace para cier- 
tas cositas, para lavar la cara. A eso un amigo lingúista le llama, *glottowas- 
hing”, así como hay “pinkwashing”. Es decir, hacer como que si atenderan a la 


diversidad linguística, pero en realidad no. 


Activismo digital de lenguas indígenas: “era como un 
tequio, nada más digital” 


Ante esa situación, se crea un proceso muy interesante que Tajééw 
Díaz, una compañera mixe del colectivo, ha impulsado mucho, en el que 
también hemos participado, que se llama activismo digital de lenguas indí- 
genas. Si por un lado los espacios digitales replican esta asimetría y esta 


injusticia, por el otro hay activistas que están tratando de ir contracorriente. 
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Ha habido encuentros. El primer encuentro fue en 2014 y fue interesantísi- 
mo, además de darnos herramientas, la mayor parte de las personas que 
nos formaron eran también de pueblos indígenas. Eso es muy importante. 
Pero también hubo discusiones éticas. ¿Qué vamos a poner o no en la 
red?, por ejemplo, cuando tiene que ver con Internet. ¿Por qué lo vamos a 
hacer? ¿Con quiénes vamos a trabajar? Con qué códigos, etcétera. Si va- 
mos a trabajar con Facebook y con Twitter y con Google, o no. No son de- 
cisiones fáciles. Fue muy interesante y ha generado todo un movimiento a 
nivel continental. La iniciativa Global Voices y Rising Voices tiene una línea 
de trabajo que se comenzó en ese año bastante interesante. 

Por un lado, está el desarrollo de apps, sobre todo para enseñar 
lengua. Pero esas son apps que representan un gran esfuerzo, pero son 
muy limitadas, en el sentido de que no son cursos completos de lengua. No 
son como en Duolingo, sino que tienen palabras. En general, más que ha- 
blar la lengua, aprendes palabras. Así mismo, eso ha tenido un impacto en 
el imaginario, en la posibilidad de construir apps, de proteger lenguas con 
en ese cruce de tecnología y pueblos indígenas. En su momento sí, fue 
muy disruptivo, porque era como contestar el hecho de que a los pueblos 
indígenas siempre nos confinan al pasado. 

Otras personas que encabezaron un movimiento que ahorita está un 
poco en stand by, pero ahí está, que es el Mozilla Nativo. Mozilla Nativo fue 
muy interesante porque fueron también personas que hablan lenguas indí- 
genas las que estuvieron ahí, en contacto, y que crearon este proceso. 
Fueron espacios de formación, pero también de encuentro y de trabajo más 


técnico para localizar Firefox, no solo para computadora, sino también para 
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celulares. Eso fue muy importante. Mucha gente, más que computadoras, 
va a tener celulares. Hay un montón de proyectos de localización, que sería 
como la traducción a lenguas locales. Hay muchos proyectos de localiza- 
ción de Firefox en lenguas indígenas, en guaraní, kagchikel, mixteco, zapo- 
teco, náhuatl, etcétera. Yo conocí a varios activistas, pude entrevistar a 
algunos.“Lo que nos gusta de las iniciativas como Mozilla es porque son de 
código abierto, entonces para nosotros ya fue muy natural”, decía Rodrigo 
Pérez, un gran activista digital, de los primeros. Decía “para mí fue muy na- 
tural trabajar con software libre, porque así lo hacemos en el pueblo. Era 
como un tequio, pero nada más en digital”. También hay iniciativas como la 
de Wikipedia, por ejemplo. Hay más de 10 mil artículos en la Wikipedia en 
náhuatl!$81. En maya, hay más de 6000, y por ahí va. Es también muchísimo 
trabajo colaborativo. 

También en esos espacios, aparte de discutir, nos dimos cuenta de 
cuáles eran los problemas. Problemas más lingúísticos o más técnicos, de 
muchos tipos. Pero también hay personas, y es respetable y hay que dis- 
cutirlo, que trabajan con plataformas como Facebook, que sabemos que 
tiene varios problemas. Pero bueno, quién está fuera del capitalismo, ¿no? 
Que aviente la primera piedra. Pero sí, hay que discutirlo entre nosotros. 
Por ejemplo, esto es Facebook en kagchikell$%1. Puedes entrar y tener todo 


Facebook en kaqchikel, que además, a diferencia de Twitter, ha tenido un 


[68] https://nah.wikipedia.org/wiki/Cal/.C4%ABxatl 


[69] El kagchikel es una lengua que pertenece a la familia maya hablada por la población kaqchikel en la región centro occidental de 
Guatemala. (N. de las E.)) 
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impacto bien interesante en pueblos indígenas. Por otro lado, esto afecta la 
neutralidad de la red, como ya sabemos, etcétera, etcétera. Todo tiene sus 


pros y contras, nada es sencillo. 


Entonces, por un lado tenemos todo un desarrollo de apps, sobre 
todo para educación, pero ahí necesitamos mucha ayuda, en esta parte de 
transmisión lingúística y enseñanza de nuestras lenguas. Sí, es algo que yo 
personalmente necesito. Doy mis clases de mixe como segunda lengua y 
me gustaría tener un lugar donde las personas puedan ver las palabras en 
mixe, ver cómo se escriben y escucharlas también, hay un montón de co- 
sas que necesitamos. Por otro lado, está todo esto de la colaboración de 
software libre e iniciativas como Wikipedia, como Mozilla Nativo, etcétera, o 
Linux. También ha habido colaboración desde nuestro colectivo con Linux, 
entonces como software libre más lenguas indígenas, lo que me parece 
muy padre. Pero también hay iniciativas como de Facebook o de Google 
que están tratando cada vez más de desarrollar cosas con lenguas indíge- 
nas, con todos los problemas que eso plantea. 

En este escenario, ¿cómo podemos hablar de una soberanía tec- 
nológica cuando no tenemos autonomía ni en nuestro territorio concreto? 
En tiempos del capitalismo tardío, lo veo complicado. La pregunta sería ¿es 
posible tener soberanía tecnológica sin desprenderse del sistema capitalis- 
ta? Yo creo que no porque, todos los insumos para lo tecnológico, el wire- 
less, la intranet, todo eso, sigue saliendo de estos territorios. Y hay mujeres 
todo el tiempo que tenemos que estar ahí, poniendo el cuerpo para sacar la 


minería, para que no te contamine el agua, etcétera. Yo lo veo complicado, 
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pero claro, es un sueño como el sueño tequiológico. Pero mientras esto 
pasa, ¿cómo usar las herramientas tecnológicas? ¿Bajo qué ética, para 
ayudar en procesos de resistencia de los propios pueblos indígenas? Tipos 
de mapeos, por ejemplo. Sabemos que Femsa, que es una empresa, la que 
tiene Coca-Cola, tiene un mapeo de cuerpos de agua en México mucho 
más impresionante que el de la Conagua. Son cosas que nos vamos en- 
contrando y conociendo. Pero entonces, ¿cómo hacemos para que esas 
herramientas tecnológicas ayuden a defendernos? Para mí la respuesta 
sería tequiologías múltiples. No hay una sola respuesta, sino hay muchas, 
en muchas tradiciones tecnológicas del mundo. No sólo hay una tecnología, 


no solo es la occidental, y no siempre es para el progreso. Muchas gracias. 
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México 


Por fortuna, crecí en una comunidad mixe en Oaxaca, en un periodo en el 
que en muchos espacios se promovía el orgullo por los elementos propios 
de la cultura. Aunque en mi familia el español y algunas palabras de cariño 
en zapoteco estaban presentes, la lengua mixe era la predominante. A muy 
temprana edad, aprendí que el mixe podía escribirse, en la primaria no tuve 
clases de mixe pero la mayoría de mis maestros eran de la misma 
comunidad y eran hablantes de la lengua. Durante mi educación secundaria 
tuve mi primer acercamiento a una computadora con internet, todavía re- 
cuerdo con cuánta curiosidad creamos nuestra primera cuenta de correo 


electrónico, además de las clásicas iniciales combinadas con fechas de 


[70] Aményi es ¡Cállate! en lengua mixe de Tlahuitoltepec. 


[71] Una versión de este texto fue compartido durante el Taller de tecnologías del habla para las lenguas indígenas de América que tuvo 
lugar el 6 de mayo de 2022 en las instalaciones de la UNAM y que fue co-convocado por Common Voice de Mozilla y otras 
instituciones. 
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nacimiento o signos zodiacales, recuerdo que al menos tuve un correo con 
una palabra en mixe, yootsWVnorecuerdo.com, no recuerdo haberme sen- 
tido mal por usar mi lengua en esas computadora, tampoco era consciente 
de las limitaciones. Durante el bachillerato teníamos una gran sala de cóm- 
puto, cada vez que tomábamos una clase de computación podíamos utilizar 
una computadora con acceso a internet, comencé a ser una gran usuaria 
de los foros de chat y del correo electrónico, en español, eso sí. Paralela- 
mente, participaba de espacios multianuales que tenían lugar durante los 
periodos vacacionales en diferentes comunidades de la Región Mixe para 
aprender a escribir y leer en mixe, en esos espacios coincidimos con 
personas jóvenes y adultas de otras comunidades mixes. Este pequeño 
recuento escolar y tecnológico para establecer mi lugar de enunciación, 
comparando el mayor acceso que tuve en mi comunidad a estas tecnolo- 
gías y una actitud positiva hacia mi lengua, se diferencia de comunidades 
en las que la discriminación y por tanto el rechazo por la lengua indígena 
está muy presente y la brecha digital aún es muy grande. 

Una vez establecido el contexto desde el que enuncio estas reflexio- 
nes, quisiera focalizar el modo en el que la pandemia evidenció de una ma- 
nera muy clara la brecha de conectividad y de acceso a plataformas y 
dispositivos digitales. A pesar de los esfuerzos de clases por televisión y 
por radio, fue imposible garantizar el derecho de la educación (oficial) a la 
mayor parte de la población que habita las zonas rurales e indígenas y 
seguramente a muchas zonas de las periferias de las grandes urbes. 

Desde el 2019, el proyecto Endless Oaxaca Multilingúe de la Funda- 


ción Alfredo Harp Helú Oaxaca A.C. inició sus actividades en Oaxaca. Se 
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trata de un proyecto piloto para conocer el impacto del uso de un sistema 
operativo robusto en zonas con poca o nula conectividad, a la vez que se 
incorpora contenido digital en lenguas indígenas de las comunidades. En 
abril de 2022, realizamos una presentación de libros en una comunidad 
mixe, Santa María Ocotepec, y a la pregunta de cuántos libros en mixe 
tenían, algunos respondían que ninguno y otros más recordaron que en sus 
computadoras tenían algunos. Somos conscientes de que incluir libros 
digitales en una computadora no revitaliza ni mucho menos salva lenguas. 
Sin embargo, requerimos de todos los esfuerzos posibles para poder 
apoyar los esfuerzos locales y comunitarios para que una lengua minoriza- 
da y discriminada no muera. De ahí que las herramientas digitales pueden 
ayudar en esta tarea. 

Muchas veces hemos escuchado decir que las lenguas indígenas 
son orales, que no se escriben o que en todo caso no necesitan escribirse. 
Si bien podemos tener largas conversaciones sobre esos supuestos, 
prefiero solo afirmar que una lengua viva, una lengua sana, no solo debería 
poder hablarse, debería también tener la posibilidad de escribirse, grabar- 
se, visibilizarse, disfrutarse, es decir: USARSE en sus diferentes formas y 
soportes. 

Cuando vemos una película de ciencia ficción, o re-visitamos las 
películas que hace 20 años nos hablaban de estos años, nos sorprende- 
mos (o tal vez no tanto) de los avances tecnológicos que ha tenido la 
humanidad. En un contexto con una crisis ambiental y humanitaria, al pare- 
cer irreversible, siempre está la pregunta de qué puede hacer la ciencia y 


tecnología para revertir guerras y la escasez de agua. Poco o nada hasta 
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ahora. Pareciera que las rutas que transitan, por un lado, los desarrollos 
tecnológicos, son paralelas pero independientes de la mayor parte del res- 
to, del destino hacia el que va caminando la humanidad. 

Mientras en un contexto de un capitalismo más salvaje cada vez, las 
lenguas indígenas, pero más que las lenguas, las hablantes de las lenguas 
indígenas, están siendo cada vez más empobrecidas y asesinadas, pues 
cada vez son menos funcionales al sistema imperante, nos preguntamos 
sobre el papel de las tecnologías de la información y ahora en particular en 
las tecnologías del habla y su papel en esta resistencia por la supervivencia 
de las personas hablantes de estas lenguas, en los procesos y luchas por 


la existencia de nuestras lenguas. 


“Google, pon la alarma a las 6 de mañana” 


Hace unos meses escuché por primera vez a mi mamá pedirle a un 
aparato que le programara el despertador a las 6 a.m. Mi primera reacción 
fue decirle: “¿sabes que ese aparato registra todo lo que escucha?” 

Esos dispositivos obviamente no son comunes en las comunidades, 
pero tampoco son completamente ajenos. La migración y en general, la 
movilidad social, ha permitido un mayor acceso a dispositivos y también ha 
creado mayores necesidades de conectividad, por lo que muchas comuni- 
dades han buscado, por su cuenta o con el apoyo de organizaciones exter- 
nas, lograr acuerdos con particulares para tener servicios telefónicos o de 
internet. Por eso no sabemos cuántos “googles” o “alexas” estén haciendo 
corto circuito o estén almacenando horas de lenguas no hegemónicas en 


sus bases de datos. 
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Recientemente en la prensa mexicana se difundieron noticias sobre 
las filtraciones de millones de datos de contribuyentes del SATI721. ¿Quiénes 
son esas 49 000 personas/empresas que tienen esos datos y cómo los 
están usando o los usarán? Desde mi muy incipiente conocimiento sobre las 
tecnologías del lenguaje y en particular de las del habla, entiendo que para 
que un modelo funcione, requiere de una cantidad considerable de datos, lo 
que implica que haya voces grabadas o un corpus escrito por lo menos.!73l 

Durante el hackaton organizado por Common Voice y la UNAM du- 
rante abril de 2022, uno de los equipos presentó un juego del gatol”* de 
voz, que para poder identificar los números del 1 al 9 en náhuatl ingresó 
más de 300 datos para su entrenamiento. Esto nos da una idea de cuántos 
datos se requerirán para tener una aplicación más compleja que nos pueda 
resolver problemas en la vida cotidiana y que podrían ayudar a las perso- 
nas que hablan lenguas indígenas. Con un ejercicio aparentemente tan 
sencillo, podemos ver qué tan grandes pueden ser las desventajas en 
cuanto a recopilación de datos que tienen, por ejemplo, las lenguas en alto 
grado de desaparición, que cuentan con un número limitado de hablantes y 
que probablemente no han tenido mucha documentación. No ahondaré 
más porque no conozco a detalle ningún caso. Pero sí puedo hablar de mi 


lengua, el mixe. 


Se puede consultar la nota en: 
https://www.eleconomista.com.mx/opinion/SAT-huachicoleo-de-datos-personales-20220424-0005.html 


[72 


[73 


Por ejemplo para Common Voice, nos compartían que cuando donas tu voz, no es grabar cualquier frase que se ocurra, sino que lees 
un corpus escrito previamente preparado. 
[74 


Para mayor precisión, pues en cada país el nombre puede variar, consulte: 
https: //arquimedes.matem.unam.mx/mati/actividades/actividad_gato/index.html 
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Según datos del último Censo de poblaciónI”*1, alrededor de 130 mil 
personas mayores de 3 años hablan alguna de las variantes de la lengua 
mixe. Viendo en detalle los datos del Censo, hemos visto que el desplaza- 
miento en las nuevas generaciones es, por decir lo menos, preocupante en 
todas las comunidadesl”$l. Ya no hay transmisión generacional garantizada. 
Ante esta realidad nos preguntamos ¿quiénes van a aportar los datos para 
que la inteligencia artificial funcione en mixe? ¿Deberíamos ya comenzar 
una campaña intensiva de documentación de nuestra lengua imaginándo- 
nos lo peor? 

Para la lengua mixe, existen varios esfuerzos de personas mixes 
que utilizan tecnologías digitales para visibilizar y apoyar su enseñanza- 
aprendizaje. Podemos identificar aplicaciones como la promovida por el 
equipo de Kumoontun, una app para Androidl”71 y Apple del mismo nombre, 
que nos ofrece una serie de datos: texto y audio, para aprender nombres de 
cosas, comunidades y otras palabras para familiarizarnos con la lengua 
ayó0k, variante de Santa María Ocotepec. Una de sus principales ventajas 
es que una vez instalada, se puede utilizar sin necesidad de internet. 

También podemos encontrar una serie de aplicaciones web desa- 


rrolladas por el programador mixe Luis Balbuena Gómez en su página 


[75] https://censo2020.mx/ 


[76] Aquí se puede conocer en detalle algunos datos relacionados con la estadística de hablantes de la lengua mixe, a partir del Censo de 
población 2020: 
https: //www.inegi.org.mx/app/indicadores/?t=1328ag=00*bodydataExplorer 

[77] Se puede descargar en la Play Store: 
https: //play.google.com/store/apps/details?id=com.seit.felix.kumoontunggl=US 
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tlahuitoltepec.com!”8l, que concentra una gran cantidad de información y la 
presenta de manera interactiva en formato de juegos. Una de sus desven- 
tajas es que no se puede utilizar sin internet. 

Hay algunos otros esfuerzos como la aplicación para Android *Mixe 
eyuujk” desarrollada para mixe de Tamazulapam y otra creada por el 
equipo Yalam, que desarrolla diversas aplicaciones para lenguas indígenas, 
incluido el mixe. 

Además de estas aplicaciones web y móviles, existe contenido en 
plataformas como Facebook y Youtube, que son difundidas por redes so- 
ciales y que tienen un alto grado de difusión entre hablantes de mixe. 
Quiero resaltar especialmente JE Yin-ET, una de las páginas que desde 
hace más de 10 años crea contenido diverso, entre ellos, el doblaje de 
escenas de películasl??l. 

Finalmente, quiero mencionar el trabajo desarrollado por el colectivo 
al que pertenezco, el Colmix, un espacio en el que hemos desarrollado di- 
versos materiales, sobre todo textuales, que se pueden descargar de ma- 
nera libre en nuestra páginal?% y se pueden consultar en nuestras redes 
sociales. En los últimos años hemos contribuido, utilizado y promovido la 


plataforma StoryWeaver para la creación de material de lectura ilustrada, 


[78] Se pueden consultar en el siguiente enlace: 
http://ayuujkjaaky.tlahuitoltepec.com 

[79] Se puede consultar en el siguiente enlace: 
https://www.youtube.com/user/xontun 


[80] www.colmix.org 
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actualmente se pueden leer al menos 100 libros en 6 variantes de lengua 
mixe en la plataforma.!8!1 

La mayor parte de los recursos digitales que mencioné es 
desarrollada y/o promovida por personas que hablan la lengua mixe y que 
están utilizando diversos recursos digitales para difundir y promover nuestra 
lengua. Somos conscientes de que estas acciones tienen poco impacto real 
en la transmisión generacional de la lengua. Sin embargo, sí tienen un 
impacto en el estatus que tiene nuestra lengua entre las nuevas generacio- 
nes, que ven el mixe en plataformas en las que estamos acostumbradas a 
solo leer, escuchar o ver español u otras lenguas hegemónicas como el 
inglés. Sabemos que las tecnologías del habla van más allá de estas apli- 
caciones y plataformas y claro que si nos preguntan, quisiéramos que 
nuestra lengua, en tanto lengua viva, también pudiera estar disponible en 
esas tecnologías, la pregunta es ¿cómo queremos que nuestra lengua sea 


incluida en esas tecnologías? 


Soberanía de datosl*821 


Hemos establecido que para cualquier tecnología de la lengua es ne- 
cesario recopilar datos y sistematizarlos para que puedan ser utilizados para 
las aplicaciones. Un traductor necesita mucha información para poder real- 


mente ser útil. También se ha establecido que estos datos, por ejemplo la 


[81] https://storyweaver.org.in/stories?language=Mixe8query=8sort=Ratings 


[82] Retomo este término a partir de la experiencia del desarrollo de tecnologías del habla en maorí: 
https://www.technologyreview.es//s/14144/la-inteligencia-artificial-esta-creando-un-nuevo-orden-mundial-colonial 
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grabación de voces, tiene que provenir de una diversidad de voces, para que 
pueda ser más precisa, es decir, necesitamos no solo voces de hombres jó- 
venes, que podría ser el sector de la población con más acceso a la tecno- 
logía, también necesitamos voces más adultas y más jóvenes, y por supuesto, 
también de mujeres. Por tanto, la lengua que queramos incluir en estas tec- 
nologías deberá contar con hablantes, es decir deberán ser lenguas vivas.!83 

En este punto una pregunta importante es ¿dónde se almacenan esos 
datos? y esto nos lleva a otras como ¿quién promueve esas tecnologías? 
¿quién utiliza estos datos? La mayoría de las iniciativas que conocemos son 
promovidas por investigadores o investigadoras de universidades o centros 
de investigación, pues son los espacios que pueden acceder a ciertas tec- 
nologías. Incluso algunas aplicaciones más sencillas han sido promovidas 
desde centro universitarios que desarrollan proyectos de titulación y que 
una vez concluida su formación, abandonan y dejan sin actualización y 
mantenimiento las aplicaciones. No se tiene certeza de dónde se quedan 
almacenadas esas listas de palabras y las grabaciones que son utilizadas 
para desarrollar esas tecnologías. 

En el caso de las universidades, asumimos que los datos se almacenan 
en los servidores de las instituciones, sin mucha claridad de quién tiene 
acceso y qué diferentes usos se puede hacer de los datos. Quisiera 
puntualizar aquí que el hecho de que una plataforma o institución mencione 


que sus datos son abiertos o disponibles por sí mismo no garantiza el acceso 


[83] Esto es más complejo, porque una persona que lee en la lengua indígena no necesariamente debe ser hablante. En condiciones 
ideales, sí tendrían que ser las mismas personas hablantes. 
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a las personas que hablan estas lenguas o que aportaron estos datos. 
Primero por el conocimiento de las bases de datos y después por lo com- 
plejo que puede ser el acceso o por los recursos necesarios para hacerlo. 

Algunos investigadores y estudiantes han comentado sobre el celo 
que tienen los hablantes con su información, algunas veces puede tratarse 
de un asunto monetario por ciertas prácticas previas, pero también se trata 
de un asunto de confianza. ¿A dónde se llevan mi voz? Si con las fotos 
existen creencias de que se llevan el alma ¿qué se llevan con la voz? Estos 
planteamientos son válidos, pues vienen de las vivencias y creencias de las 
comunidades, por lo que deben ser consideradas para cualquier investiga- 
ción que realicen. El cuidado que se tiene con los datos y el posterior 
acceso a ellos deben ser prioridad en cualquier proyecto de recopilación de 
datos, para establecer confianza con las personas que hablan estas 
lenguas. Estos protocolos deben ser considerados tanto para gente externa 
como para gente de las mismas comunidades. 

Hemos conocido de protocolos que otros pueblos indígenas en el 
mundo han desarrollado para el manejo de sus datos, esto nos inspira para 
promover poco a poco estas conversaciones en nuestras propias comuni- 
dades, no solo para el uso de datos para el desarrollo de tecnologías del 
habla, sino también para proyectos cinematográficos y de otra índole que 
involucre alguna forma de extracción de datos de la comunidad. De otra 
manera estaríamos atestiguando el extractivismo de datos, práctica que 
esperaríamos se pudiera combatir, no solo desde las comunidades sino 
también desde los centros de investigación en los procesos de formación 


de sus estudiantes. 
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Las lenguas, sus variantes y sus hablantes 


Las lenguas vivas cambian, tanto por el contacto con otras lenguas 
como por los nuevos conocimientos que se incorporan y los cuáles se van 
nombrando, ya sea con préstamos o con neologismos. En este sentido, nos 
preguntamos cómo se define, en una tecnología del habla, qué variante 
será la que se utilizará. ¿Será la que tenga más hablantes? ¿La que tenga 
una comunidad organizada que promueva un proyecto en particular? ¿La 
comunidad de una persona hablante que colabora con algún proyecto? Esa 
decisión será importante e impactará directamente en procesos regionales 
y locales que tenga la lengua. En el caso del mixe, sería interesante ver 
cómo se transcribirá un texto en un programa, que conjunto de grafías será 
elegido, si lo que coloquialmente llamamos ptkero o el bodeguero. 

En realidad aquí lo que las tecnologías deberán atender serán las 
necesidades de los hablantes de la lengua, retomar los procesos que de 
por sí se estén desarrollando de manera local y hacer el proceso lo más 
colaborativo posible y atendiendo los protocolos comunitarios que para tal 
fin existan. 

Como referencia, presento el caso de las Semanas de Vida y Lengua 
Mixe, un espacio itinerante que desarrolla actividades de enseñanza- 
aprendizaje de la lectura y escritura de la lengua mixe, que en los años 
recientes ha dado un giro en sus actividades para centrarse en la planifica- 
ción linguística del mixe y así atender los retos que tenemos en el presente. 
En el marco de estos esfuerzos, desarrollamos actualmente un Seminario 
Permanente de Didáctica de la Lengua Mixe y uno de los grandes retos es 


el desarrollo de diversos materiales didácticos para la enseñanza de la 
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lengua. Aquí tenemos una oportunidad de desarrollar aplicaciones que 
puedan impactar directamente en actividades concretas que llevan a cabo 
hablantes de la lengua mixe. 

Hasta ahora, lo común es que las personas que hablamos las len- 
guas indígenas seamos promotores entusiastas de ciertas tecnologías y 
plataformas, y aunque, al menos en las ciencias sociales, ya sea política- 
mente incorrecto decir informantes, seguimos jugando ese rol de solo ser 
personas que proveen cierta información que extraen personas 
especializadas. Poco a poco, las nuevas generaciones hablantes de las 
lenguas indígenas están accediendo a carreras tecnológicas más 
especializadas, por lo que deberíamos promover que esas mismas perso- 
nas sean las que se involucren en el desarrollo de todas aquellas tecnolo- 
gías del lenguaje que deseemos en las comunidades. El hecho de que una 
persona hable la lengua no garantizará una perspectiva comunitaria o un 
respeto por ciertos protocolos comunitarios, pero tendremos la ventaja de 
que al ser parte del colectivo, podremos tener una comunicación más 
directa e incluso tener mecanismos de rendición de cuentas que nos 
permitan garantizar nuestra soberanía en las decisiones que tomemos. 

Finalmente, me gustaría reiterar que no queremos estar al servicio 
de bases de datos de los desarrollos tecnológicos, queremos co-crear o 
mejor, tener la capacidad para crear nuestras propias tecnologías, siendo 
conscientes siempre de sus implicaciones y alcances, sin dejarnos llevar 
por la lógica del desarrollo por el desarrollo sin considerar las implicaciones 
que puede tener el uso de un dispositivo o de una herramienta, no solo 


para nuestras comunidades sino también para otros pueblos del mundo. 
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Aunque no sé si en algún momento podremos decidir si Alexa 
logrará descifrar algo en mixe, quiero pensar que si eso pasa, también 


tendremos la posibilidad de callarla, de decirle: Alexa amenyi. 
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Inteligencia artificial: 


un manifiesto descoloniall$4] Aarathi Krishnan 
Angie Abdilla - A Jung Moon 

Buse Cetin : Carlos Affonso Souza 
Chelle Adamson : Eileen M. Lach 
Farah Ghazal : Jessica Fjeld 
Jennifer Taylor - John C. Havens 
Malavika Jayaram 

Monique Morrow - Nagla Rizk 
Paola Ricaurte : Raja Chatila 
Ravit Dotan * Sabelo Mhlambi 
Sara Jordan : Sarita Rosenstock 


Este manifiesto es una provocación, una pregunta, una apertura, una danza 
acerca de un futuro descolonial de los sistemas de inteligencia artificial (IA). 
Es un manifiesto que apunta a la pluriversalidad, ya que refleja una visión 
entre muchas. Esperamos invitar al intercambio, a la conversación y a promover 


declaraciones de las personas afectadas por las tecnologías de lA. 


[84] El equipo detrás del Manyfesto se reunió en torno a un deseo compartido de ir más allá de los prejuicios occidentales en el aislamiento 

que impulsa la tecnología global a medida que avanzamos en la era algorítmica. Compuesto por un grupo de expertos en lA, ciencias 
sociales, humanidades, derechos humanos, de diferentes regiones geográficas, género, racialidad, edad y otras interseccionalidades, 
el grupo se reunió en el transcurso de 16 meses, en medio de la pandemia, para prever y redactar este manifiesto. 
Esta iniciativa es solamente el comienzo: el objetivo del grupo es proporcionar este texto como base para talleres, documentos y polít- 
icas, todo ello diseñado para manifestar la conciencia de que para que la tecnología sea "justa", "digna de confianza" o "responsable" 
no puede abarcar los sesgos e intereses de una sola región o pueblo. Sostenemos que las asimetrías epistémicas en torno a la lA se 
traducen en asimetrías sociales y económicas. El orden de los autores es alfabético. El grupo que coordinó las sesiones durante el 
ejercicio colectivo estuvo compuesto por Buse Cetin, Sabelo Mhlambi, Paola Ricaurte, Jessica Fjeld y John C. Havens. 
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Comenzamos con el reto que supone el lenguaje que utilizamos para 
hablar de lA: un lenguaje que se encuentra dominado, al igual que gran 
parte de la tecnología, por las voces de hombres blancos privilegiados de 
occidente. Intentamos desvelar, cuestionar, poner en tela de juicio y rein- 
ventar los supuestos que subyacen a este lenguaje, incluso cuando lo utili- 
zamos. 

"Artificial" e "inteligencia" son términos con algunas connotaciones. 
Sus definiciones están sujetas a prejuicios culturales. La lA es una tecno- 
logía, una ciencia, un negocio, un sistema de conocimiento, un conjunto de 
narrativas, de relaciones, un imaginario. En cada una de sus facetas, nues- 
tro esfuerzo consiste en desmantelar el epistemicidio colonial de las formas 
de ser y conocer no occidentales. La palabra "descolonialidad" también re- 
suena de forma diferente en las distintas comunidades, incluso entre los 
pueblos originarios y aquellos para los que el colonialismo no es un hecho 
de la historia sino una realidad presente. Algunas personas rechazan el 
término descolonial en este contexto. Reconocemos tanto su uso como su 
rechazo. 

No buscamos el consenso: valoramos la diferencia humana. Recha- 
zamos la idea de que un único marco epistémico y un modelo de mundo 
pueda regir universalmente. Rechazamos el lenguaje normativo occidental 
de la lA "ética" y las sugerencias de "inclusividad" que no desestabilizan los 
actuales patrones de dominación y asimetrías de poder. Rechazamos el si- 
mulacro ético de a través de principios que pretenden retocar, reforzar y 
blanquear el estatus quo, limitándose a amortiguar sus efectos devastado- 


res. Rechazamos aquellas iniciativas que no reconocen cómo lo social y lo 
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técnico están entrelazados y que las tecnologías tienen impactos tanto in- 
materiales como materiales sobre cuerpos racializados, etnizados, en par- 
ticular de mujeres, de territorios específicos. La descolonialidad rechaza el 
divorcio entre lo material y lo inmaterial, entre el sentir y el ser, el saber, el 
hacer y el vivir. 

Las nociones de gobernanza descolonial surgirán de la comunidad y 
en cada contexto situado, cuestionando lo que actualmente son las narrati- 
vas hegemónicas. La descolonialidad no significa únicamente diversidad e 
inclusión. Para eliminar los ecos de la colonialidad en la lA será necesario 
reparar la injusticia y el presente y pasado despojo material y epistémico. 
Estas reinvenciones de la gobernanza de la lA reconocerán la sabiduría 
proveniente de la experiencia vivida y promoverán condiciones para hacer 
posible que quienes han sido históricamente marginalizados tengan la 
oportunidad de decidir y construir sus propios futuros sociotécnicos dignos. 
A diferencia de las estructuras de gobernanza centradas en Occidente, la 
gobernanza descolonial reconocerá cómo nuestros destinos están entrela- 
zados. Nos debemos mutuamente nuestro futuro. 

Nuestra humanidad es relacional, se define por cómo nos vinculam- 
os unas personas con otras y con los demás seres. La tecnología tiene un 
lugar importante en esas relaciones. La creación -el arte, la narrativa- y la 
experiencia sensible, son algunos de los caminos que debemos explorar 
para potenciar la imaginación descolonial. Buscamos centrarnos en las 
prácticas de ingeniería, diseño, producción de conocimiento y resolución de 
conflictos de diversas culturas, basadas en sus propios sistemas de 


valores. 
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Nuestra urgencia surge del riesgo de utilizar la lA como sistema de 
conocimiento para crear "verdades algorítmicas"” irrefutables que refuercen 
la dominación. Al hacerlo, se niegan y borran otros sistemas de producción 
de conocimiento y otras visiones, así como la agencia, la autonomía y las 
resistencias de otros pueblos. De este modo, la colonialidad de la lA va 
más allá del colonialismo de los datos: la lA está basada también en el ex- 
tractivismo del territorio y además tiene la capacidad de modelar la realidad. 
Diseñados en una sociedad desigual, estos sistemas pueden emplearse 
para reproducir desigualdades. Construidos con un énfasis en la eficiencia 
más que en la dignidad, pueden causar un daño irreparable. Al insistir en 
una lA descolonial, defendemos el derecho de las comunidades histórica- 
mente marginalizadas a modelar la realidad en sus propios términos. 

Nuestros métodos evolucionarán, sensibles a las necesidades y 
oportunidades, pero nuestro objetivo es crear y mantener un foro resonante 
para el aprendizaje y el intercambio desde y entre las voces silenciadas por 
las estructuras coloniales y la colonialidad vigentes a través de los sistemas 


sociotécnicos. 
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Raziye Buse Cetin 
Turquía 


El verano pasado visité a mis abuelos que viven en un pueblo en la 
Anatolia, en Turquía. Como indagación personal, le pregunté a mi abuelo 
qué representaba para él “Europa”, cuáles fueron las primeras palabras, 
símbolos, imágenes que le vinieron a la mente cuando dije “Europa”. Inme- 
diatamente respondió: “progreso, tecnología, inteligencia, trabajo duro...” y 
agregó, “somos corruptos y no trabajamos lo suficiente. Por eso nos 
quedamos atrás”. Sentí un calambre en el estómago, pero sonreí. 

No hay nada más desalentador e invalidante que creer que hay algo 
intrínsecamente malo en su cultura, educación y formas de conocer, sentir 
y dar sentido al mundo. Como piensa mi abuelo, ¿los europeos o los occi- 
dentales tienen economías avanzadas porque saben, tienen la tecnología 


de su parte, y son más trabajadores y moralmente superiores a los demás? 


[85] Nota de las editoras: La investigadora turca Raziye Buse Cetin plantea una reflexión sobre cómo la lA está profundamente enredada 
con la colonialidad del poder de varias maneras, no solo a las esferas políticas y económicas, sino también a los lugares de producción 
de conocimiento, percepción, sentimiento e imaginación. El texto original en inglés se puede consultar en: 
https://www.gwi-boell.de/en/2021/02/11/wisdom-of-not-knowing-and-decolonial-Al 
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Falta una parte en la historia de mi abuelo. Una que contradice las 
narrativas globalizadas de la modernidad y la colonialidad. Es una historia 
de explotación global, extracción, racismo, capitalismo, pensamiento dua- 
lista y hegemonía. Es la historia de esta red invisible de recursos naturales 
y generaciones de trabajo humano racializado que sostienen las brillantes 
promesas de eficiencia comercializadas a través del avance tecnológico. 

Esto también suele faltar en el discurso dominante sobre las tecno- 
logías de inteligencia artificial (IA). La lA existe en un sistema sociotécnico 
(Johnson € Verdicchio, 2017) que inevitablemente interactúa con lo que es 
social. No es solo una disciplina científica y un negocio, sino que también 


tiene su propia mitología (Crawford, 2014): 


La 'lA' se entiende mejor como una ideología política 
y social que como una cesta de algoritmos. El 
núcleo de la ideología es que un conjunto de 
tecnologías, diseñado por una pequeña élite técnica, 
puede y debe volverse autónomo y eventualmente 
reemplazar, en lugar de complementar, no solo a los 
humanos individuales sino a gran parte de la 
humanidad. (Lanier, 2021) 
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La lA y el poder colonial 


La lA está profundamente enredada con la colonialidad del poder de 
varias maneras. La colonialidad del poder da forma no solo a las esferas 
políticas y económicas, sino también a los lugares de producción de cono- 
cimiento, percepción, sentimiento e imaginación. En los ecosistemas de lA, 
el conocimiento científico, la invención tecnológica y las ganancias corpo- 
rativas se refuerzan mutuamente y conducen a la consolidación del poder 
político y económico. El sistema económico en el que está incrustada la lA 
es uno de capitalismo extractivo. Moldea los objetivos, los modos de pro- 
ducción, las formas de trabajo y la distribución de la riqueza y el poder en 
torno a esta tecnología. 

En su etapa actual, la lA nace en economías de escala y plataformas 
digitales. Las grandes empresas tecnológicas acumulan una masa crítica a 
través de enormes retornos a escala y efectos de red. Esto conduce a la 
centralización de las infraestructuras digitales sobre las que se construye 
una parte considerable de las actividades comerciales y de diversa índole. 
El alcance y el poder actuales de estas importantes empresas tecnológicas 
recuerdan a los imperios; solo que ahora extraen datos junto con los recur- 
sos naturales y el trabajo racializado de otras partes del mundo. 

El discurso dominante mistifica la lA como una tecnología abstracta 
y autosuficiente. La imaginación popular se obsesiona con la tecnología al 
ignorar todos los recursos naturales y materiales, así como el trabajo hu- 


mano, que hacen posible la lA en primer lugar. La anatomía de un sistema 
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de 1A!881, Kate Crawford y Vladan Joler, muestra todos los recursos mate- 
riales, el trabajo humano y los datos necesarios para el ciclo de vida de un 
solo Amazon Echo, desde su producción hasta su eliminación. Esto incluye 
la extracción de minerales terrestres como el litio para producir el hardware, 
una gran infraestructura como Internet, el trabajo de los etiquetadores de 
datos y más. El trabajo humano no solo es vital para refinar, ensamblar, 
distribuir y transportar los componentes físicos y virtuales de un sistema, 
sino que los consumidores también realizan trabajo continuamente al ge- 
nerar datos y, en última instancia, ayudar a mejorar los sistemas. (Crawford 
8 Joler, 2018) 


Los datos como fuente última de conocimiento 


La creciente confianza en los datos como fuente última de conoci- 
miento impone un nuevo orden epistemológico basado en la datafica- 
ción/mercantilización de todo. Los principales conjuntos de datos de 
entrenamiento para el aprendizaje automático (NMIST, ImageÑNet, Labeled 
Faces in the Wild, etc.) se originaron en corporaciones, universidades y 
agencias militares del Norte Global. (Pasquinelli 8 Joler) Las categorías bi- 
narias de raza y género construidas socialmente se cimentan en taxo- 
nomías y sistemas de clasificación de datos, lo que refuerza las 


implicaciones sociales, políticas y económicas en la distribución del poder 


[86] https://anatomyof.ai 
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de tales categorías. Los marginados, cuerpos minorizados y subalternos 
que no encajan en las clasificaciones y taxonomías coloniales son objeto de 


violencia algorítmica y discriminación. 


Al decolonial 


El relato de la colonialidad de Al es vasto y complejo. En "Decolonial 
Al: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence", 
Mohamed, Png e Isaac (2020) brindan una visión integral de los sitios de 
descolonialidad en la lA. De manera similar, Ricaurte desarrolla un modelo 
teórico para comprender la colonialidad del poder en los datos en “Episte- 
mologías de datos, colonialidad del poder y resistencia”. (Ricaurte, 2019) 
Esta actividad académica ciertamente contribuye a lo que Adolfo Albán 
Achinte llama re-existencia: “una estrategia de cuestionamiento y visibiliza- 
ción de las prácticas de racialización, exclusión y marginación, procurando 
redefinir y resignificar la vida en condiciones de dignidad y autodetermina- 
ción, mientras al mismo tiempo se confronta la biopolítica que controla, do- 
mina y mercantiliza los sujetos y la naturaleza.” (Achinte, 2008, pp. 85-86) 

Sin embargo, la descolonialidad también tiene sus contradicciones y 
cuestionamientos. Por ejemplo, el lenguaje de la descolonialidad corre el 
riesgo de ser capturado: "cómo escribir (producir) sin inscribirse (reproducir) 
en la estructura blanca dominante y cómo escribir sin reinscribir y reprodu- 
cir aquello contra lo que nos rebelamos". (Anzaldúa, 2018, pp. 20-21) O 
¿qué queda de la lA una vez que se torna descolonial? ¿Encierra esto ne- 
cesariamente la descolonialidad en posiciones aparentemente opuestas de 


rechazo tecnológico y/o captura inevitable? Yo veo la ansiada idea de pu- 
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reza y los binarios colonial vs descolonial que mi mente reproduce en estas 
preguntas. Trato de resistir y recordar que “no hay propietario ni un plan 
maestro privilegiado para la descolonialidad” (Anzaldúa, 2018, p. 118) y 
apreciar la hibridación y complejidad de las cosas. 

En lugar de renunciar al impulso de la mente moderna por la certeza, 
la jerarquía y las respuestas prefabricadas, la descolonialidad puede verse 
como un proceso continuo y una praxis que no solo es epistemológica sino 
también emocional, espiritual y contextual. Se trata de construir patrones 
situados del otro: vivir, reflexionar, analizar, teorizar, actuar y dejar lo cons- 
truido (y capturado) para empezar de nuevo. Se trata de centrar la vida: “La 
opción descolonial... parte de la idea de que 'la regeneración de la vida 
debe prevalecer sobre [la] primacía del reciclaje de la producción y repro- 
ducción de bienes”. (Bhambra, 2014, p. 137) 


La sabiduría de no saber 


Mi abuelo es agricultor, su padre fue imánl?”l y también agricultor. Mi 
abuelo no fue a la escuela secundaria, no está empapado del tipo de cono- 
cimiento más valorado para la modernidad/colonialidad. Cuando le expliqué 
cómo se usaba la lA en la agricultura para la detección de enfermedades y 
el pronóstico estacional, no parecía muy interesado. Porque él sabe que, 


haga lo que haga, si cae granizo este año, significa que pueden perder una 


[87] Posición de liderazgo comunitario en el islam. (N. de las Eds.) 
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parte importante de su cosecha. La amenaza de pérdida de cosechas 
siempre está presente, pero nunca lo he visto quejándose retadoramente 
de las fuerzas de la naturaleza - como lo hace con las fuerzas del capital. 
Esta humildad espiritual y la relación personal de mis abuelos con la 
naturaleza y el suelo me enseñaron que hay sabiduría en no saber en el 
sentido moderno/colonial. Es bastante contraintuitivo para la mente moder- 
na/colonial y sus tecnologías, ya que vende la ilusión de control que se ob- 
tiene al saber. A estas alturas, no se trata de saber más; se trata de 
respetar la naturaleza en constante cambio de la vida al honrar otros tipos 
de conocimiento. En La mano izquierda de la oscuridad, Ursula K. Le Guin 
dice: “Aprender qué preguntas no tienen respuesta y no responderlas: esta 


habilidad es más necesaria en tiempos de estrés y oscuridad”. 
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En años recientes los gobiernos y las empresas de los países industrializa- 
dos y las organizaciones internacionales han promovido diversos marcos 
éticos (UNESCO, 2021, OCDE, 2019) para orientar el desarrollo de las 
tecnologías, especialmente las asociadas a la inteligencia artificial (IA). En 
la narrativa del desarrollo tecnológico capitalista, los sistemas inteligentes 
son los más prometedores para la innovación, puesto que se encuentran 
asociados con los ideales de productividad y eficiencia. Por ello, la inteli- 
gencia artificial se ha convertido en un eje articulador del capital, del poder 
y de la política. Algunos de estos marcos éticos, que guían las prácticas, las 
políticas y los reglamentos, se basan en los derechos humanos (Adams, 
2022) e incorporan principios para defenderlos, especialmente en el 
despliegue y el uso de la lA. Sin embargo, como hemos observado 
históricamente, un marco de derechos humanos no es suficiente para 


garantizar los derechos humanos ni para lograr la justicia. 


[88] Una versión en inglés de este texto fue publicada en Bot Populi y se encuentra disponible en el siguiente enlace: 
https://botpopuli.net/artificial-intelligence-and-the-feminist-decolonial-imagination/ 
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Por un lado, estos marcos reflejan una perspectiva ética occidental 
(Jobin et. al, 2019) sobre el problema, que deja fuera las epistemologías no 
occidentales (Mhlambi, 2020) y una discusión sobre la justicia a nivel global 
que incorpore diferencias onto-epistémicas. La ética del diseño, desarrollo, 
despliegue y uso de la IA desde los marcos éticos actuales se centra en 
principios como la transparencia y la rendición de cuentas (Jobin et al., 
2019), lejos de las poblaciones afectadas por estas tecnologías (Aguilar, 
2022; Díaz, 2022). Este hecho hace evidente la distancia entre las perso- 
nas que pueden producir, entender y auditar los algoritmos y las son 
afectadas por ellos. Por otro lado, los marcos éticos impulsados por los 
actores poderosos, como las corporaciones tecnológicas o los gobiernos de 
los países ricos, no discuten la centralidad geopolítica de los sistemas inte- 
ligentes como arma de guerra y vigilancia, su carácter extractivista, su lugar 
en el control social de los cuerpos-territorios, las subjetividades, las relacio- 
nes intersubjetivas y, en definitiva, su papel en el secuestro del futuro. 
(Bruno, 2021) 

Desde una perspectiva más amplia, la discusión sobre la justicia 
asociada a las tecnologías debe situarse en diálogo con la realidad de los 
contextos y comunidades locales sobre los que recaen sus impactos. 
(Ricaurte 8 Ciacci, 2020) Además, debe apuntar al análisis de las asi- 
metrías que hacen de este desarrollo tecnológico un instrumento para la 
continuidad de la violencia a escala global. (Ricaurte, 2022) 

En un ámbito global, la justicia integradora debe considerar las múl- 
tiples dimensiones en las que se despliega la injusticia mediada por la tec- 


nología: social, económica, epistémica, laboral, infraestructural, digital, 
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climática, energética, territorial, alimentaria, entre otras, en contextos loca- 
les y para comunidades específicas. Así, por un lado, la definición de la 
justicia tiene que partir de la experiencia de las propias comunidades 
(Cortés et al., 2020), así como las visiones que poseen sobre su futuro 
(Trejo, 2022). Por otro lado, es necesario abordar las relaciones asimétricas 
globales que contribuyen a profundizar la violencia sistémica y estructural 
entre países a nivel planetario. Por último, debe reconocer los impactos di- 
ferenciados del desarrollo tecnológico en las poblaciones excluidas del 
norte y del sur global e impulsar que los países industrializados, asuman la 
responsabilidad de su liderazgo en las decisiones en torno a la gobernanza 
y el desarrollo de lA. 

En este ensayo, proponemos una visión que articule los aspectos 
macro y micropolíticos (Rolnik, 2019) como parte del proyecto descolonial y 
feminista, que considera múltiples dimensiones que deberían considerarse 
para desarrollar tecnologías de la lA justas para la mayoría del planeta 
(Ricaurte, 2022). Nuestro propósito es identificar los límites e implicaciones 
de la aplicación de marcos éticos que no abordan el problema del poder y 
el papel que juegan las tecnologías de lA en la automatización de la opre- 
sión. (Peña 8 Varon, 2020) Así, el problema se relaciona con el poder y el 
papel que desempeña la inteligencia artificial dentro de la matriz de domi- 
nación como producto y herramienta de/para la perpetuación de los siste- 
mas de violencia. Partiendo de los trabajos anteriores, identificamos las 
intervenciones y los marcos integrales que requerimos para construir tec- 
nologías alineadas con el derecho a una vida digna y, al mismo tiempo, 


respetuosas con el ambiente. 
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La colonialidad del poder: tecnología, género, ambiente 


El sociólogo Aníbal Quijano desarrolló la noción de colonialidad del 
poder (Quijano, 2000, 2007) para explicar la dominación epistémica a 
través de la diferencia racial ejercida por la metrópoli europea durante la 
colonización. La colonialidad explica la lógica, el mecanismo de jerarquiza- 
ción y catalogación epistémica de unos seres humanos por encima de otros 
a partir de la diferencia racial producida durante la colonización y perpetua- 
da hasta nuestros días. Por lo tanto, la colonialidad extiende la colonización 
en forma de epistemicidio (de Sousa Santos, 2015) basado en la diferencia 
racial. 

La colonialidad del poder lleva a la destrucción de cualquier forma 
alternativa de pensar, ser, sentir, hacer y vivir diferente al modelo occiden- 
tal/moderno del mundo. El locus del despojo son los recursos naturales de 
los territorios colonizados y nuestros cuerpos, pensamientos, acciones, 
afectos y relaciones. (Ricaurte, 2020) El poder colonial implica despojar al 
sujeto de la colonización de su valor como ser humano y ejercer la superio- 
ridad racial como dominación epistémica. Es despojar a la persona de su 
humanidad. Como explica el filósofo africano Sabelo J. Ndlovu Gatsheni 
(2020), incluso cuando se hace retroceder la colonización como proceso 
físico (el imperio físico), el colonialismo como estructura de poder continúa, 
porque invade el universo mental de un pueblo, desestabilizando lo que 


solía conocer, para pasar a conocer lo que trae el colonialismo. 
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Los valores colonialistas, racistas y patriarcales se imponen como 
principios universales para el diseño de la tecnología. Estos valores están 
codificados en marcos éticos que dan forma a los sistemas de inteligencia 
artificial, a la construcción de máquinas antropomórficas y blancas (Cave 8 
Dihal, 2020), a los algoritmos racistas (Benjamin, 2019; Noble, 2018), a la 
construcción de narrativas sobre el progreso, el desarrollo, la productividad, 
la eficiencia, la modernidad y el futuro asociadas a la tecnología pero an- 
cladas en imaginarios que consolidan la superioridad racial (Benjamin, 
2016). Los sistemas sociotécnicos son parte de los ensamblajes de conoci- 
miento que producen narrativas que contribuyen a la dominación epistémi- 
ca occidental (supremacía blanca, heteropatriarcado, capitalismo y 
colonialismo). Por lo tanto, es crucial entender cómo la dataficación, las 
mediaciones algorítmicas y los sistemas inteligentes operan cognitiva, 
emocional y pragmáticamente para construir visiones del mundo y formas 
de relacionarse y concebir la existencia social. Sus efectos se plasman en 
la configuración de las relaciones entre los sujetos (políticos, económicos, 
sociales), entre los seres vivos (humanos y no humanos), pero también en 
la relación con los objetos (seres vivos y no vivos/máquinas) y entre los 
propios objetos (por ejemplo, entre las máquinas, como vemos en el inter- 
net de las cosas). El proyecto de la modernidad disocia los procesos de 
producción tecno-científica de sus efectos sobre los cuerpos racializados y 
los territorios que habitan. Sin embargo, estos territorios proporcionan las 
materias primas y los recursos laborales necesarios para producir tecno- 
logía y son el lugar donde los países industrializados expulsan sus 


residuos. 
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Por lo tanto, en el estudio de la inteligencia artificial desde una pers- 
pectiva decolonial y feminista, es necesario considerar todo el ciclo de la 
inteligencia artificial, las relaciones sociopolíticas asociadas a ella y su 


contribución a la reproducción de las asimetrías de poder. 


Ética y justicia 

El papel de algunos Estados en el desarrollo de armas autónomas 
es un ejemplo de la limitación de estos debates éticos que no abordan las 
asimetrías de poder, las fuerzas geopolíticas y la violencia. Además, es un 
ejemplo de doble discurso O lavado de ética cuando hablamos de 
inteligencia artificial: 

Las armas totalmente autónomas, también conocidas como "robots 
asesinos", serían capaces de seleccionar y atacar objetivos sin un control 
humano significativo. Los precursores de estas armas, como los drones 
armados, están siendo desarrollados y desplegados por naciones como 
China, Israel, Corea del Sur, Rusia, el Reino Unido y Estados Unidos. Exis- 
ten serias dudas de que las armas totalmente autónomas sean capaces de 
cumplir las normas del derecho internacional humanitario, incluidas las 
reglas de distinción, proporcionalidad y necesidad militar, al tiempo que 
amenazarían el derecho fundamental a la vida y el principio de la dignidad 
humana. (HRW, 2021) 

¿Un robot asesino con un algoritmo perfectamente auditable y 
transparente pasaría la prueba ética internacional? Tal vez. Por lo tanto, un 
debate que no erradica la violencia en el centro como principio para lograr 


la justicia o que sólo da acceso a la justicia a poblaciones específicas y 
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dentro de los límites de las fronteras nacionales o regionales no puede 
considerarse un debate honesto por la justicia. La búsqueda de la justicia 
asociada a los procesos de dataficación, mediación algorítmica y automati- 
zación necesita una concepción integral que articule las diferentes dimen- 
siones de la justicia y apunte a reparar el daño infligido a las personas que 
históricamente han sufrido y sufren la violencia (física, emocional, econó- 
mica, laboral, epistémica, algorítmica) para sostener el actual modelo de 
desarrollo tecnológico. Argumentamos que el modelo hegemónico de de- 
sarrollo tecnológico basado en la violencia extractivista y el despojo es, en 
esencia, un modelo necro-tecnológico central en el proyecto capitalista/co- 
lonial/patriarcal/moderno. Este proyecto necro-tecnológico hegemónico está 
anclado en el principio de exterminio de cuerpos y territorios específicos. La 
injusticia es el resultado de las múltiples formas de violencia ejercidas sobre 
los cuerpos y los territorios. La violencia se traduce en la pérdida de auto- 
nomía, en la imposibilidad de lograr una vida digna y un mundo donde la 
justicia sea accesible para todos. Para avanzar hacia la justicia tecnológica 
como horizonte, necesitamos incorporar las causas históricas de la injusti- 
cia y la violencia estructural en la reflexión crítica y, en particular, en la 
praxis feminista. De esta manera, propondremos reparaciones que no sean 
parches, ni sustitutos de la justicia, ni nos lleven a contribuir a sostener in- 
voluntariamente los sistemas de violencia. Las lentes feministas requieren 
una mirada histórica, procesual y relacional sobre los procesos de datafica- 
ción y la incorporación de la mediación algorítmica y la inteligencia artificial 
en la automatización de la vida social. Este enfoque histórico, procesual y 


relacional implica incorporar las nociones de corresponsabilidad y afecto 
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(Cortés et al., 2020) asociadas a los impactos negativos del desarrollo tec- 
nológico. También significa emprender estrategias de empoderamiento co- 
munitario para reclamar esta justicia a través de redes de solidaridad 
transnacional entre comunidades vulneradas y agraviadas y comunidades 
aliadas. Sin embargo, el eje de la lucha no está anclado en el acceso a la 
justicia per se, sino en que el acceso permita un horizonte de autonomía 
(Acevedo, 2021; Colectivo Disonancia, 2021) y una vida digna que contri- 
buya a recuperar la posibilidad de tener un futuro en el planeta. Sin embar- 
go, como la justicia requiere que los actores que actualmente concentran el 
poder económico, político y social a nivel global asuman la responsabilidad 
y las consecuencias de las decisiones que nos han conducido la crisis ac- 
tual derivada de su modelo de desarrollo, el acceso a la justicia será siem- 
pre un reclamo de los pueblos que han sido sistemáticamente negados. La 
autonomía (Acevedo, 2021; Colectivo Disonancia, 2021) y la dignidad de- 


ben ser alcanzadas en disputa con las fuerzas que buscan destruirlas. 


La imaginación feminista y descolonial 


La muerte de las personas defensoras de la tierra, el terrricidio, el 
feminicidio, el lingúicidio, el epistemicidio, la persecución de inmigrantes y 
refugiados, la discriminación de la diversidad en todas sus formas, la ex- 
plotación laboral, están asociadas con el despliegue de sistemas inteligen- 
tes en todo su ciclo de vida. ¿Cómo, entonces, lograremos la 
justicia?¿Cómo erradicar las violencias en su multidimensionalidad? La 
respuesta a estas preguntas no es sencilla. Sin embargo, las comunidades 


de todo el mundo están tratando de buscar la justicia en sus propios térmi- 
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nos, desarrollando la tecnología que necesitan, respondiendo a los intere- 
ses de la comunidad y construyendo caminos hacia la autonomía y la vida 
digna. Algunos ejemplos provienen de los feminismos, transfeminismos, fe- 
minismos descoloniales y comunitarios. Otros provienen de las experien- 


cias de los pueblos originarios alrededor del mundo. 


IA transfeminista 


Los interseccionales, decoloniales y ecofeminismos aportan herra- 
mientas teóricas y metodológicas que permiten reflexionar sobre el sentido 
de desarrollar iniciativas de inteligencia artificial considerando las asi- 
metrías de poder y de género. Principios feministas para la recolección y 
uso de datos (D'lgnazio y Klein, 2020), manifiestos feministas (Zaragoza y 
Ahmatova 2018, Feminist Data Manifest-No), ecofeminismos que buscan 
poner en el centro los valores de la sostenibilidad a la par de la búsqueda 
de la equidad, imaginación radical tecnofeminista a través del juego, las 
narrativas y la ficción especulativa, como en el El Oráculo para las tecno- 
logías transfeministas (Varon y Constanza-Shock 2018) son solo algunos 
ejemplos. Estas visiones provocadoras y clarividentes sobre la lA muestran 
que si ampliamos la diversidad epistémica podremos imaginar y crear futu- 


ros tecno-diversos y transfeministas. 


Diversidad cultural y lingúística 


Es bien sabido que el reconocimiento del habla y el procesamiento 


del lenguaje natural no están disponibles o suficientemente desarrollados 
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para otras lenguas que no sean el inglés. En todo el mundo, muchas co- 
munidades no tienen el inglés u otras lenguas dominantes como lengua 
materna. Para superar este déficit, el proyecto Papa Reol*9! ha desarrollado 
una herramienta de transcripción automática del maoríl*0 que utiliza la API 
de conversión de voz a texto para obtener la primera voz maorí sintetizada. 
Como se indica en su sitio web, esta herramienta "proporciona el conjunto 
de datos fundamentales para el proyecto Papa Reo", "una plataforma 
lingúística multilingúe basada en el conocimiento y las formas de pensar 
indígenas y potenciada por la ciencia de datos de vanguardia". Este pro- 
yecto muestra cómo las tecnologías pueden desarrollarse para servir a las 
necesidades de una comunidad específica. Este proyecto puede no intere- 
sar a las grandes empresas tecnológicas, pero ofrece a la comunidad la 


oportunidad de expresar su identidad y su sentido de pertenencia. 


Gobernanza comunitaria 


Formas de gobernanza comunitaria son ejemplos de alternativas pa- 
ra la lA desde otros valores que no son los del mercado. Papa Reo busca 
desarrollar una propuesta desde la comunidad para la comunidad. Este an- 
claje en la comunidad implica que sus propuestas y su desarrollo responden 
a las necesidades de esa comunidad. Es una propuesta tecnológica creada 


en su idioma y con los valores que son importantes para su comunidad. 


[89] https://papareo.nz/ 
[90] http://kaituhi.nz/ 
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Soberanía de datos 


Papa Reo desarrolló su propia licencia de software, kaitiakitanga, de 
acuerdo con los valores de la comunidad maorí. A diferencia del principio 
de propiedad, que implica la apropiación desde una perspectiva privada o 
comercial, la visión de la protección y custodia de datos implica que los da- 
tos son un bien común de la comunidad y, por tanto, deben ser protegidos: 

Te Hiku Media ha desarrollado una licencia Kaitiakitangal*!!, que 
establece que los datos no son propiedad, sino que se cuidan bajo el prin- 
cipio de kaitiakitanga y cualquier beneficio derivado de los datos fluye a la 
fuente de los mismos. Kaitiakitanga es un principio que expresa la tutela y 
no la propiedad de los datos. Los medios de comunicación de Te Hiku son 
meros guardianes de los datos y tratan de garantizar que todas las decisio- 
nes que se tomen sobre el uso de esos datos respeten su maná y el de las 
personas de las que descienden. 

Papa Reo forma parte de un movimiento de innovación indígena que 
ha demostrado cómo contribuir desde diferentes cosmovisiones al desarro- 
llo de la inteligencia artificial. Iniciativas similares promueven normas y pro- 
tocolos basados en principios o metodologías indígenas que no implican 


procesos o relaciones extractivas. 


[91] https://papareo.nz/ifkaitiakitanga 
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Conclusión 


En este ensayo, hemos discutido la limitación de desarrollar marcos 
éticos que no pretenden cambiar las relaciones de poder. Los marcos éti- 
cos deben considerar los impactos materiales e inmateriales diferenciados 
para territorios y cuerpos específicos como consecuencia de la lógica sub- 
yacente de los procesos históricos capitalistas, patriarcales y coloniales 
asociados a los sistemas sociotécnicos. Los sistemas de IA dominantes 
como construcciones sociotécnicas son instrumentos de la colonialidad del 
poder, una relación entre conocimiento y poder, basada en la diferencia 
ontológica y epistémica de los seres. Borrar la experiencia de la coloniali- 
dad y sus impactos materiales e inmateriales sobre cuerpos, subjetividades 
y territorios específicos, racializados, étnicos y de género, es una forma de 
despolitizar la crítica decolonial. La descolonialidad como praxis requiere la 
desvinculación de la colonialidad del poder: detener, desmantelar y reparar 
el proceso histórico de despojo y violencia, el epistemicidio y la necropolíti- 
ca como principios del modelo occidental hegemónico del mundo. A través 
de la imaginación descolonial y feminista, exploramos las posibles formas 
de descolonización de la inteligencia artificial hacia la construcción de futu- 
ros tecnodiversos. Esta reflexión pretende pasar a la acción para revertir un 
orden basado en la necropolítica sobre los cuerpos racializados, principal- 


mente de las mujeres, y la destrucción de nuestros entornos de vida. 
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lA y el futuro de la 
humanidad: 


una perspectiva del budismol?2] Soraj Hongladarom 


Universidad de Chulalongkorn 
Tailandia 


Antes de todo, quiero agradecer a la universidad Chulalongkorn, en donde 
he trabajado por más de 30 años, por invitarme a dar una charla sobre este 
tema tan oportuno. El tema es el futuro, y sobre el papel que juega la lA en 
ese futuro. ¿Y qué es lo que más me gusta del título? Es que este no es mi 
título. Este es el título que me propusieron, que me propuso la universidad, 
y yo dije, “está bien”. Dijeron, "a lo mejor te diste cuenta", de que pusieron 
una forma plural de la palabra futuro. Entonces, "futuros de la humanidad", 
lo que implica, por supuesto, que hay varios futuros. Soy de filosofía y yo 
enseño lógica. Así que eso me distrajo: ¿por qué pusieron la palabra futuro 
en forma plural? Presumiblemente, imaginan que podría haber varios 


futuros. Pero, lógicamente hablando, no puede haber más de un futuro, 


[92] Esta ponencia fue presentada en línea por el profesor Dr. Soraj Hongladarom, líder del hub del Sudeste Asiático de la red f<a+i>r, 
durante la Semana de Alfabetización Chula Futures de la Universidad de Chulalongkorn, Bangkok, Tailandia, realizada entre febrero y 
marzo del 2022. La sesión fue moderada por el profesor Dr. Leonard Chrysostomos Epafras, de la Universitas Kristen Duta Wacana y 
el Consorcio de Estudios Religiosos de Indonesia (ICRS), Yogyakarta, Indonesia. Reproducimos acá, traducida al español, su 
presentación sobre la inteligencia artificial y los futuros de la humanidad desde una perspectiva del budismo, en la cual argumenta 
sobre la urgencia de pensarmos, colectiva y sistemáticamente, sobre el futuro y sobre todo sobre el papel que juega la lA en el futuro 
de la humanidad. La charla ha sido ligeramente editada para fines de claridad. Se puede consultar la grabación de la conferencia aquí: 
https://www.youtube.com/watch?v=xNonD2QglUc (N. de las Eds.) 
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porque cuando llegue el momento, no nos estamos ramificando en ningún 
lado, estamos viviendo en este mundo, y nos guste o no, nos quedaremos 
atrapados en este mundo. Ese será el único mundo real. Es diferente a las 
películas de ciencia ficción, donde podemos retroceder en el tiempo y cam- 
biar el futuro. Sin embargo, esto nos da una advertencia o algo en lo que 
debemos pensar. Porque, de veras, solo hay un futuro. Así es que de- 
bemos hacerlo lo mejor que podamos hacer. Cuando se trata de un futuro, 
hay una posibilidad, por supuesto, por eso pusieron el plural de “futuros” en 
el título. Podríamos pensar en lo que podría pasar dentro de 10 o 20 años, 
hay varias posibilidades. Aunque, cuando hayan llegado los 20 años, será 
únicamente uno. Entonces, está abierto, el camino siempre está abierto, 
ahora mismo, para trazar nuestro curso para el futuro. Creo que eso es im- 
portante. Creo que esa es la razón principal por la que la UNESCO y la 
Universidad de Chulalongkorn han organizado esta semana de alfabetiza- 
ción sobre futuros. 

Creo que podemos pasar un tiempo hablando de por qué necesita- 
mos hablar sobre el futuro. Luego, sobre qué papel juega la lA en nuestro 
futuro. No el futuro de la Al, el nuestro, los seres humanos. El futuro para 
nosotros, los seres humanos. ¿Y qué tipo de papel juega la lA en nuestro fu- 
turo? Y qué debemos hacer para que nuestro futuro, es decir, nuestra posi- 
bilidad, el futuro que ahora mismo existe como posibilidad, se haga realidad. 

Y luego hablaré de un proyecto, un proyecto fascinante, del que ten- 
go el honor de ser parte. El proyecto sobre la incubación de la lA feminista 
ilustra claramente lo que debemos hacer para imaginar el tipo de lA que 


existirá dentro de nuestro futuro, no el futuro de la Al. Finalmente, de cómo 
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pueden ayudar las ideas obtenidas de la filosofía budista, el tema de mi 
libro que se publicó en 2020. Entonces, sigamos adelante. 

¿Por qué tenemos que hablar del futuro? Bueno, antes de pasar a hab- 
lar sobre la lA, la ética de la lA, la ética budista y la lA, etc., dado que esto es 
parte de la semana de la alfabetización sobre futuro, creo que nuestra charla 
puede contribuir al evento principal dedicando algún tiempo sobre por qué ha- 
blar del futuro ha adquirido cierta importancia. Tanto es así que la UNESCO y 
Chula han invertido tiempo y esfuerzo en la organización de estas actividades. 

Hay una enseñanza en el budismo de que no debemos preocuparnos 
demasiado por el futuro. En su lugar, deberíamos preocuparnos más del pre- 
sente. La idea es ser consciente del presente, ser consciente de lo que está 
sucediendo en este momento y no preocuparse demasiado por el futuro. Hay 
mucho de verdad en esa enseñanza. Sin embargo, tal vez eso no descarte la 
necesidad de que debamos pensar en el futuro, de alguna manera, de una 
forma u otra. La razón de esto es que necesitamos entender qué tipo de 
consecuencia traerá nuestra acción actual. Hacia nosotros mismos, hacia 
nuestro yo futuro, ya que probablemente la mayoría de nosotros todavía 
vivirá dentro de 10 o 20 o 25 años. Y cualquier cosa que estemos haciendo, 
o cualquier decisión que estemos tomando en este momento, tendrá conse- 
cuencias en el futuro lejano. Y estaremos entre los que se verán afectados 
por esas decisiones. Sin mencionar a nuestros descendientes, hijas e hijos, 
nietas y nietos. Si pensamos en el futuro en muchos años después del año 
actual, 2022, ahora mismo, esa es una respuesta obvia a la pregunta de por 
qué necesitamos hablar sobre el futuro. Y desde luego, no es sólo pura 


especulación. 
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No estamos hablando del futuro como los adivinos o los astrólogos, 
que a lo mejor nos quieren decir que el próximo año pasará esto o aquello, 
que en el 2025 pasará esto o aquello. No nos preocupa eso, nos preocupan 
los efectos que podría traer nuestra acción actual. ¿Y por qué es importante 
en términos de nuestras políticas, nuestras actitudes hacia la IA? Es que la 
IA es una tecnología tan poderosa, es una tecnología tan transformadora, y 
está siendo desarrollada a un ritmo muy rápido por laboratorios de todo el 
mundo. Las naciones compiten entre sí para crear los últimos avances en 
IA. Y estamos realmente, literalmente, en la encrucijada. El futuro podría ir 
hacia la izquierda o hacia la derecha, hacia delante, hacia arriba o hacia 
abajo. Depende de nuestras acciones en este momento. Por eso creo que 
esta actividad, donde nos reunimos para hablar sobre nuestro futuro como 
resultado, ha adquirido mucha importancia. 

Entonces, estoy muy interesado en esta forma plural. ¿Futuro o futu- 
ros? A veces deseo poder tener muchas vidas. Quisiera poder ramificarme, 
por así decirlo, y vivir en varios futuros alternativos o universos paralelos. Por 
ejemplo, en el futuro, tal vez mañana, podría ir al futuro número uno, al futuro 
número dos o al futuro número tres. Y luego, experimentar lo que haya para 
experimentar, en cada uno de estos futuros. Pero todo lo que podemos ha- 
cer, por supuesto, es imaginar cómo sería. Asimismo, el futuro real se con- 
vertirá en nuestra actualidad, nuestra experiencia elevadora, que solo 
podemos experimentar a través de nuestros sentidos. Y las posibilidades se 
volverán, así, solo posibilidades. Pero no es como lo que nos dicen los adivi- 


nos. 
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Es fascinante hablar sobre el futuro. Pero debemos ser conscientes de 
que podemos hablar de futuros de manera más sistemática. De tal manera 
que tengamos respaldos, tengamos evidencia científica, tengamos hallazgos 
de investigación para respaldar nuestra conclusión. Por ejemplo, el cambio 
climático. Llevamos décadas hablando del cambio climático. Los efectos que 
los científicos nos advirtieron hace dos o tres décadas que sucederían están 
sucediendo ahora mismo. Así que estamos experimentando, estamos vivien- 
do, en efecto, en el futuro que los científicos, hace unos 20 años, 30 años, 
nos advirtieron. Y lo estamos viviendo, estamos experimentando las conse- 
cuencias de nuestras acciones en el pasado ahora mismo. Y podemos imagi- 


nar lo que sucedería en el futuro, visto desde nuestra perspectiva de 2022. 


¿Realmente tenemos un futuro? 


Esto suena como una pregunta pesimista, pero no quiero que el tono 
de mi charla sea pesimista, es decir, yo no soy una persona pesimista en 
absoluto. Los que me conocen a mí o a mis palabras lo sabrán: al contrario, 
pertenezco al otro campo. Pero la pregunta se ha vuelto importante porque, 
en este momento, hay una gran guerra en marcha. Nadie sabe qué tipo de 
resultado sucederá. Quiero decir, todas las guerras son así, nadie puede 
predecir los resultados de ninguna guerra. Siempre hay muchas posibilida- 
des e inseguridad, en el sentido de que no se puede predecir con detalle el 
resultado de una guerra cuando se está librando. Es posible que uno pueda 
predecir en términos generales, a largo plazo, considerando la cantidad de 
recursos que tienen las dos partes. Pero cuando las dos partes comienzan 


a comprometerse, son muchas las posibilidades. 


Inteligencia Artificial Feminista 
234 Hacia una agenda de investigación en América Latina y el Caribe 


lA y el futuro de la humanidad: 
una perspectiva del budismo 


En cualquier caso, cuando hay una gran guerra, como ahora, que 
todo el mundo conoce, entre Ucrania y Rusia, surge esta pregunta. Quiero 
decir, ¿realmente tenemos un futuro cuando un lado tiene una gran canti- 
dad de arsenal nuclear? Y el otro lado, a pesar de que no son parte del 
conflicto, están viendo muy de cerca sus desarrollos. Así que el viejo miedo 
que la gente tenía en los años posteriores a la Segunda Guerra Mundial, a 
las guerras nucleares y cosas por el estilo, ha regresado. El viejo miedo a 
las guerras y la gente protegiéndose ha vuelto. Quiero decir, es muy rápido, 
el año acaba de comenzar, el otro día, y muchos acontecimientos en el 
mundo ocurrieron solo durante estos pocos días después de que estalló la 
guerra. Así que esta pregunta ha llegado a tener cierta importancia. 

Estos dos líderes políticos [Vladimir Putin y Volodímir Zelenski, líderes 
de Rusia y Ucrania respectivamente] hacen referencia a un evento mundial 
que tiene mucho que ver con nuestros nuevos pensamientos, especulaciones 
y pensamientos sobre el futuro. Cuando hablamos del futuro, y esta es una 
forma muy cruda de dividir las actitudes hacia el futuro, están los utópicos y 
los distópicos, el optimismo y el pesimismo. Ninguno de los dos lados tiene 
razón. La verdad suele ser una mezcla de las dos posiciones. Pero esas dos 
posiciones al menos reflejan nuestras actitudes. No estamos hablando de lo 
que realmente sucederá. Hablamos de nuestras actitudes hacia el futuro. Po- 
demos estar en el lado utópico y podríamos estar entre los que están en el la- 
do distópico. Estas actitudes también entran en juego cuando hablamos de lA. 

Entonces, para abreviar, debemos hablar sobre el futuro porque ne- 
cesitamos saber lo que debemos hacer ahora mismo. Entonces, como dije, 


esto se ha vuelto crítico, estamos en una encrucijada importante. 
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La lA y nuestro(s) futuro(s) 


Como decía, está la banda utópica y está la banda distópica. El lado 
utópico diría “ah, la IA es una panacea. La lA nos está ayudando de mu- 
chas, muchas maneras. La lA nos está aliviando de todo tipo de cargas, por 
lo que ya no necesitamos esforzarnos, ni trabajar duro”. Estoy hablando de 
actitudes muy crudas hacia la lA y nuestro futuro. Los utópicos creen en el 
tremendo poder de la |A para ayudarnos en muchos tipos de actividades. 
Sin embargo, están los distópicos, que han destacado, en muchos casos 
con razón, los peligros de la lA. Por ejemplo, hablan de que la lA nos quita 
el trabajo, dejándonos sin empleo y con inseguridad económica y sin nin- 
guna injerencia sobre lo que nos sucederá. Muchos estudiosos, muchos 
científicos, han predicho que la |A podría volverse consciente. Que la lA 
podría convertirse en lo que ellos llaman “inteligencia artificial general” 
(AGl), en el sentido de que entienda los significados del lenguaje y tenga 
representaciones internas. Todo tipo de cosas que nos han distinguido a 
nosotros, los seres humanos, de todo lo demás en el universo. Esa carac- 
terística definitoria de la humanidad parece convertirse rápidamente en una 
característica definitoria de la lA también. 

Entonces, entre los distópicos, el temor es que la lA no solo se esté 
haciendo cargo de nuestros trabajos, sino que la lA parece estar apoderán- 
dose también de nosotros mismos. Podría convertirse, en palabras de Nick 
Bostrom, en una superinteligencia. Cuando llegue ese momento, depende 
de la lA dónde quieran ubicarnos. Es posible que quieran preservarnos y 
ponernos en una especie de zona especial para los seres humanos. No tan 


malo como los campos de concentración, pero algunos tipos de tierra don- 
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de podemos vivir, y nos dejan solos. Entretanto, las lA se encargarían de 
los asuntos del mundo por sí mismas. O a lo mejor podrían querer eliminar- 
nos a todos juntos, esa también es una posibilidad. 

Justo he visto una noticia que dice que los científicos han descubier- 
to que la lA ha comenzado a poseer algunas indicaciones, algunas indica- 
ciones tempranas, de ser consciente. No sé si esa noticia se puede verificar 
o no, pero según muchos científicos, entre ellos destacados y famosos, co- 
mo Nick Bostrom, la lA podría reemplazar, o efectivamente lo hará, a los 
seres humanos como el organismo dominante en el universo o en el mun- 
do. Esos son unos futuros que se crean a partir de ahora. Ese es precisa- 
mente el tema que estamos viendo ahora mismo, la lA y nuestro futuro o 
futuros, si es que no nos hemos destruido a nosotros mismos antes, a 
través de las guerras y a través de las bombas nucleares y demás. 

En este momento, tenemos el lado utópico, y muchas personas del 
lado utópico dirían algo como “es improbable” o “es muy poco factible”. Y 
algunos científicos prominentes también están diciendo esto, que la lA 
podría volverse completamente consciente y que tomará nuestro lugar, co- 
mo he dicho. Es más probable que la lA se vuelva algo como nuestros ami- 
gos y nuestros sirvientes, y que siga trabajando con nosotros. Como dije 
antes, depende de nosotros en este momento, de nuestra acción colectiva, 
en este momento crítico. Si este o aquel escenario para el futuro podría su- 
ceder, depende de nuestras acciones. Si la lA podría volverse super inteli- 
gente y buena, o si la lA nos colocará en un zoológico, o si la lA podría 
convertirse en nuestro aliado y continuar colaborando, para trabajar con 


nosotros en el futuro. 
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Entonces, he resumido aquí algunos posibles futuros de la lA. He 
hablado sobre AGI, inteligencia artificial y súper inteligencia, el tipo de lA 
que es completamente consciente. También que la lA está amenazando 
nuestros trabajos. Los vehículos autónomos se están desarrollando en mu- 
chos países del oeste y es solo cuestión de tiempo que estos vehículos lle- 
guen a Tailandia, Indonesia o Malasia. Entonces, debemos pensar qué tipo 
de guía, qué tipo de regulaciones y qué tipo de roles jugarán estos 
vehículos autónomos en nuestras vidas y en nuestras sociedades. 

Por supuesto, también se están desarrollando sistemas de armas 
autónomos. Existe un debate sobre si se debe permitir que estos sistemas 
de armas desempeñen un papel en el combate real. Por lo que he recopila- 
do de la guerra entre Rusia y Ucrania, todavía no hay noticias sobre el des- 
pliegue de sistemas de armas autónomas, pero en el futuro, ¿quién sabe? 
Si es que hay un futuro. 

Sin embargo, el debate es algo así: por un lado, deberíamos consi- 
derar una lA que procese el poder letal, o una lA que controle los sistemas 
de armas, como algo que deberíamos prohibir por completo. El mismo tipo 
de actitud que tenemos actualmente con las armas biológicas y las armas 
químicas porque son demasiado peligrosas. Porque no queremos que la lA 
se prenda, por así decirlo, y dispare a la gente. Sin embargo, algunos pien- 
san que quizás, quizás, la lA debería desempeñar un papel bastante limita- 
do en el control de los sistemas de armas, porque cuando miras qué tan 
rápido vuelan los aviones de guerra modernos y qué tan rápido funcionan 
estos sistemas de armas, en muchos casos es demasiado rápido para que 


un ser humano normal se ajuste. Aunque ese ser humano sea un soldado 
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entrenado. Entonces, la lA podría entrar en este punto para ayudar a los 
soldados humanos a tomar sus decisiones. Pero la decisión, al final, debe 
pertenecer al comandante humano. Ese es un argumento a favor de un pa- 
pel más limitado para los sistemas autónomos. Pero resalta mi punto: esta- 
mos ahora mismo en la encrucijada y cualquier decisión que tomemos 
ahora tendrá consecuencias. Consecuencias serias, muy graves, en un fu- 
turo lejano. Además, también tenemos lA en recursos humanos, como 
cuando se desea contratar a una nueva persona para un puesto. Muchas 
empresas ya lo están haciendo con lA. Usan lA para analizar carteras y 
otras formas de información y la lA sugiere si se debe contratar o no a una 
persona. Entonces, ¿queremos que nuestro futuro como empleados de tal 
o cual empresa lo decida una lA? También hay lA en las inversiones. La lA 
se utiliza para decidir qué forma de inversión es la mejor para el inversor, 
utilizando algún tipo de algoritmo. Entonces, en lugar de seres humanos, se 
está utilizando la lA para decidir nuestra inversión por nosotros. Y está, por 
supuesto, la lA en la ley. La IA está trabajando como juez en China. Hay 
evidencia e informes de noticias provenientes de China, de que ahí la Al se 
utiliza para analizar varios documentos legales. Y también en la educación, 
y así sucesivamente. 

Estos futuros, algunos de ellos son el presente, apuntan a los roles 
cada vez más generalizados que la lA está desempeñando en nuestras vi- 
das. Entonces, esto me preocupa: ¿la lA asumirá el trabajo de los profeso- 
res de filosofía? No sé. Yo no lo quiero, no. O tal vez. Quiero decir, la Al 
ahora ya puede escribir en un artículo científico. Es capaz de presentar una 


conferencia. Eso es, al menos para mí, una especie de amenaza directa. 
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Pero, ¿qué debemos hacer? Quizás podamos seguir encontrando, o 
sugiriendo, respuestas a esta pregunta en el período de preguntas y res- 
puestas. Sin embargo, sugeriría que eliminar la IA no es una opción. Digo 
esto porque la lA está demasiado arraigada. La tecnología está demasiado 
cerca de nosotros y muchas industrias ya confían demasiado en la lA. En- 
tonces, prohibir por completo la lA no es factible, no es realista. Así, lo que 
debemos hacer es asegurarnos de que el tipo de lA con la que viviremos 
sea del tipo dócil y amigable con nosotros, y no una que trate de destruir- 
nos por completo como especie. O de destruir incluso todo el entorno en el 
que vivimos. Por lo tanto, necesitamos una forma de vivir con lA. Esto sig- 
nifica que debe haber sistemas de regulación robustos y formas sistemáti- 
cas, exigibles y efectivas para canalizar su poder. Y este debe ser un 
esfuerzo global coordinado por todas las partes interesadas en todo el 
mundo. No puede ser prerrogativa de ningún país en particular porque la lA 


parece estar omnipresente en todas partes. 


Alianza A+ para algoritmos inclusivos: una visión para el 


futuro 


Tengo la suerte de ser parte de esta coalición llamada A+ Alliance 
for Inclusive Algorithmsl?%1. Hay un grupo de la academia y activistas e inte- 
grantes de organizaciones de la sociedad civil de todo el mundo y compar- 


timos este objetivo común de buscar el papel que debe desempeñar la lA 


[93] https://aplusalliance.org/ 


Inteligencia Artificial Feminista 
240 Hacia una agenda de investigación en América Latina y el Caribe 


lA y el futuro de la humanidad: 
una perspectiva del budismo 


para ser nuestra aliada, por así decirlo, y no nuestra enemiga. Tenemos 
muchas actividades, y estoy planteando esto para mostrar que esta es una 
visión para el futuro. Representa un intento entre muchos, ya que hay mu- 
chas otras redes, de canalizar, de poner a la lA a trabajar para nosotros, en 
el momento en que todavía es posible poner a la lA a trabajar para noso- 
tros, porque todavía está en proceso de desarrollo. La red se centra en un 
futuro digital libre, feminista e inclusivo. Y notarán que este futuro hace eco 
muy bien con nuestra charla de hoy. 

Esto también es del mismo sitio web, de la red f<a+i>r: “Creemos 
que es necesario contemplar nuevos sistemas y estructuras para la lA para 
los tiempos venideros”. Y para la gobernanza de la lA y para el tipo de en- 
torno, para la estructura contextual que rodea a la lA, que será necesaria 
para los tiempos que se avecinan. “Los tiempos venideros”, estamos ha- 
blando del futuro. Entonces, el proyecto se llama "Incubando lA feminista". 
Este es nuestro objetivo, el poder de la lA debe aprovecharse para que sea 
una fuerza para el bien, creando una sociedad más igualitaria. Pero, ¿có- 
mo? Ese es el desafío. Por eso me siento honrado de ser parte de eso, y 
pensar cómo aprovechar, cómo programar o cómo hacer cosas con lA de 


tal manera que pueda convertirse en una fuerza para el bien. 


Una lA ética 


Al contrario de lo que dicen otros académicos, que la |A siempre se 
convertirá en nuestro enemigo, yo creo, y muchos de mis colegas creen, 
que es posible que la lA se convierta en una fuerza para el bien. Lo cree- 


mos porque la lA, después de todo, es ahora solo una pieza de software de 
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algoritmo. Muy, muy poderosa, sí, pero solo una pieza de software. Enton- 
ces, todavía es viable, todavía está en el proceso en el que podemos mol- 
dearlo en algo que esté de acuerdo con nuestros valores y objetivos. 

El subtítulo de la charla es “una perspectiva desde el budismo” y es- 
to viene del libro mencionado anteriormente. Primero, el budismo propor- 
ciona un análisis ético, pero no tengo tiempo para hablar sobre todo el 
sistema de ética en el budismo, solo que este proporciona una alternativa y, 
en algunos casos, una mejor alternativa que las formas occidentales de 
analizar problemas éticos. Entonces, la filosofía budista proporciona una 
nueva forma de pensar sobre los efectos de la lA. Una que se centra en la 
excelencia, en lo mejor que puede ser la lA. No se trata únicamente del as- 
pecto técnico, sino que es una combinación de los aspectos técnicos y éti- 
cos. Para que los aspectos éticos y técnicos de la lA se conviertan en uno 
mismo, inseparables. Entonces, la excelencia está ligada a nuestros valo- 
res y objetivos deseados. Temas como la felicidad floreciente, la inclusión, 
la igualdad, etc, comprenden las nociones dentro de las cuales entendemos 
qué significa realmente la excelencia en este contexto. Ese sería un breve 
resumen de mi libro. 

Para concluir, no necesitamos enfrentarnos a la lA en el futuro. La lA 
no tiene por qué ser nuestra enemiga. Pero debemos actuar en conjunto 
ahora. Debemos encontrar formas de crear el tipo de lA que se alinee con 
nuestros valores. Aunque las lA no piensan como nosotros porque, des- 
pués de todo, se basan en algoritmos y pensamiento binario, y sus cere- 
bros están hechos de silicio, esto no implica necesariamente que serán 


nuestras enemigas. No existe una conexión necesaria entre el hecho de 
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que la lA no piensa como nosotros y la idea de que deban ser nuestros 
enemigos, simplemente no existe una conexión lógica. Por lo tanto, debe- 
mos hacerles comprender que para lograr la excelencia, la lA debe ser éti- 
ca, es decir, una combinación de aspectos técnicos y éticos entre los 


cuales, como mencioné anteriormente, no hay separación. 
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Ecuador 


Caminaba cuesta abajo, rápido y tratando de buscar algo de sombra. Era 
uno de esos días que en Quito el sol es tan fuerte que duele la piel. Mien- 
tras iba ensimismada en mis pensamientos escucho la voz de una mujer 
diciendo mi nombre. Alcé la mirada y vi a Yorya, una compañera migrante 
trabajadora de Rappi saludándome mientras detenía su bicicleta. Nos 
abrazamos rápidamente porque ella llevaba un pedido y cada minuto 
cuenta en el trabajo de reparto con apps. Vi a Yorya partir, esforzándose 
por subir en bicicleta esa calle tan empinada mientras cargaba esa mochila 
tomate. ¡Sí que hacía sol! Y ella iba toda tapada para no quemarse la piel 
trabajando tantas horas en la calle. 

Conocí a Yorya en julio de 2020. Una trabajadora de plataformas di- 
gitales, migrante venezolana, que trabajaba repartiendo por las calles de 
Quito mientras su embarazo avanzaba. Fue el primer caso que acompaña- 
mos desde el Observatorio de Plataformas de esta índole, donde la inter- 


seccionalidad de la economía de plataformas era tan evidente y a la vez tan 
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compleja: precarización, género, migración, maternidad, salud, regulariza- 
ción. Sobre eso quiero reflexionar en estas líneas, de la importancia, pero 
sobre todo de la urgencia, de llevar análisis feministas interseccionales a 
los debates de la gig economy. De problematizar desde la mano de obra 
que sostiene estos modelos de trabajo hasta los impactos en los cuerpos y 
territorios a causa de su cadena de producción; del trabajo de cuidados y el 
acoso sexual; de la algortimización del trabajo y la desregularización de 
mercados; de la creación de consumos y creación de subjetividades; las 
narrativas dominantes y la falacia de la economía colaborativa a la que 
estas empresas tratan de adherirse. Independientemente de si hablamos 
de plataformas digitales de geolocalización o de audiencias geográfica- 
mente dispersas —también llamadas crowdwork (OIT, 2018)- es fundamen- 
tal disputar las narrativas y visibilizar que la explotación y precarización que 
estos modelos de negocio generan tienen rostros específicos. 

Llegué al tema de plataformas digitales de reparto en 2019 y desde 
2020 he creado un proyecto/colectivo de incidencia sobre la situación que 
viven las personas trabajadoras de reparto y conducción con apps en 
Ecuador, llamado Observatorio de Plataformas. Desde que inicié los prime- 
ros mapeos sobre la caracterización socioeconómica de las personas tra- 
bajadoras de reparto en Ecuador, tuve la intuición que el tema migratorio 
jugaba un eje fundamental. Luego mis sospechas se confirmaron cuando, 
en 2020, varios mapeos a nivel regional demostraron que gran parte de la 
fuerza de trabajo dentro de estas plataformas era migrante. Hago referencia 
a los casos de Colombia (Jaramillo, 2020), Perú (Dinegro, 2020), Argentina, 


Chile (Morales, 2020) y Ecuador (Hidalgo, 2020a), donde las personas tra- 
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bajadoras además de ser mayoritariamente migrantes, eran venezolanas. Y 
en los países donde no lo eran, como en Brasil, la mayoría de las personas 
trabajadoras de plataformas son afrobrasileñas. (Abilio et al., 2020) ¿Qué 
implicaciones tiene para América Latina que la fuerza de trabajo de plata- 
formas digitales de reparto sea sostenida por gente migrante y racializada? 
Queda claro que la división internacional, racial, sexual y geográfica 
del trabajo no es ajena a la gig economy. El trabajo es subcontratado y 
tercerizado dentro de estas plataformas por empresas del Norte global y 
realizado por personas del Sur global. Por otra parte, la producción de ma- 
nufactura tecnológica se realiza mayoritariamente en países del Sur global 
donde se paga a quienes elaboran estos equipos y repuestos precios irri- 
sorios — siendo las mujeres la mano de obra mayoritaria en la producción 
de esta manufactura. Como afirma Lisa Nakamura “[el] trabajo femenino 
barato es el motor que impulsa internet”. (2015) Es decir, la producción tec- 
nológica y el trabajo operativo de estas empresas de plataformas digitales 
es realizada por fuerza de trabajo racializada, feminizada y precarizada. 
Pero, además, dentro de estos debates es apremiante problematizar cómo 
la producción tecnológica genera un impacto negativo para la naturaleza y 
para las comunidades que viven en los territorios de donde se sacan los 
recursos naturales. Minería a gran escala, racismo ambiental, contamina- 
ción por desechos electrónico-tóxicos son algunos de los elementos para 
continuar esta conversación, que como sabemos, afectan en mayor grado 


al Sur global. 


Inteligencia Artificial Feminista 
Hacia una agenda de investigación en América Latina y el Caribe 246 


Reflexiones feministas sobre la economía de plataformas 
o que el algoritmo no controle tu humanidad 


Xk*x* 


En los últimos años “pedir un Uber” o “pedir comida por la aplicación” 
se ha vuelto parte de nuestra cotidianidad. Estas aplicaciones de transporte 
y reparto son visibles, la gente que trabaja en ellas recorre las ciudades de 
nuestros países todos los días. De manera reciente, estudios, documenta- 
les y paros internacionales se han desarrollado para problematizar las im- 
plicaciones que tienen estos modelos de negocio. Ahora sabemos que las 
personas que trabajan en estas aplicaciones no tienen contratos laborales, 
no cuentan con seguridad social, no reciben un salario básico por su traba- 
jo. También sabemos que la gente que trabaja en apps de transporte y re- 
parto trabajan más de 12 horas al día, 7 días a la semana. Con hashtags 
como F+EnTuPedidoVaMiVida, las organizaciones de trabajadores de repar- 
to en toda América Latina han denunciado como arriesgan su vida cada día 
durante su trabajo. Si tienen accidentes de tránsito, las empresas de apps 
no les cubren los gastos médicos, no indemnizan a sus familias en caso de 
muerte y deshumanizan a tal punto a la persona trabajadora que cuando 
sufre un accidente les preguntan cómo se encuentra el pedido y a qué hora 
irán a entregarlo a destino, en vez de preocuparse por su salud. 

Las aplicaciones de reparto y transporte como Uber, Lyft, Cabify, 
Pedidos Ya, InDriver, Rappi, Didi organizan el trabajo mediante algoritmos. 
Esto quiere decir que generan sistemas de puntuación para que clientes y 
establecimientos/negocios califiquen a las personas trabajadoras. A través 
de estas calificaciones, se asignan pedidos y carreras a las personas re- 
partidoras y conductoras. Además, el control del trabajo se da por GPS, 


delimitando las rutas que deben tomar. Esta forma de organización atomiza 
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las relaciones laborales, porque ya no queda claro quién evalúa tu trabajo, 
ya no hay un departamento de recursos humanos, no tienes un lugar de 
encuentro con tus compañeras de trabajo para organizarte y en sí, la 
relación con tu empleador pasa por una aplicación de celular y un sistema 
matemático de procesamiento de datos y no un ser humano. “Mi jefe es una 
app” presenta grandes retos para la experimentación del trabajo y demues- 
tra que la algoritmización de la vida es un escenario cercano. Por otra 
parte, las personas trabajadoras de plataformas digitales cobran por cada 
servicio realizado pero las empresas se quedan con un porcentaje. 
ci 

Las plataformas digitales se incrementan todos los días, también su 
área de acción frente a las actividades y servicios que van cubriendo. Ahora 
podemos encontrar aplicaciones para hacer compras de supermercado: ¡sí, 
tú te quedas en tu casa!, mientras mandas una lista de lo que quieres y 
alguien va al supermercado a comprar todos esos productos, buscando 
minuciosamente marcas, precios, peso, ingredientes, etc, por ti. También 
hay aplicaciones para contratar servicios de comunicación, diseño gráfico, 
edición de estilo. Puedes coordinar quién saca a pasear a tu perro por ti 
con una app de celular. El capitalismo ha encontrado un nicho de mercado 
muy fructífero, pero no es solo un tema de nuevos modelos de negocio. La 
economía de plataformas busca instaurar un nuevo régimen laboral, tribu- 
tario, político. Nos enfrentamos a la desregularización del trabajo, a la des- 
regularización de los sistemas de recaudación fiscal, a la desregularización 


de las prácticas monopólicas en el mercado. 
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Sin embargo, la atención que han recibido las aplicaciones de 
reparto y conducción no es la misma que otras también existentes. La 
(sobre) exposición de estas dos actividades con aplicaciones móviles se 
debe en gran parte al ámbito público donde se desempeñan estos trabajos. 
Adicionalmente, no es menor mencionar que son dos actividades laborales 
sumamente masculinizadas. Pero no podemos decir que todas las aplica- 
ciones tienen las mismas implicaciones. En general, la lógica de puntuación 
dentro de las apps para evaluación de desempeño, la flexibilización laboral, 
la organización del trabajo con base en la algoritmización son elementos 
que pueden transversalizar entre plataformas. Sin embargo, existe una gran 
feminización de otras aplicaciones que se desempeñan en el ámbito 
privado. 

Ahí llegan las apps de cuidados. Las aplicaciones de trabajo de cui- 
dados han comenzado a incrementarse y en algunos países a existir por 
primera vez. Pero no podemos comparar y afirmar que es lo mismo pedir 
un Uber que contratar a una mujer para limpiar tu casa. El trabajo domésti- 
co tiene en sí una historia colonial y patriarcal que lo hace muy distinto a 
manejar un auto. El trabajo de cuidados ha recaído históricamente en las 
mujeres, un trabajo invisibilizado, no pagado y totalmente desvalorizado. 
“La inmensa cantidad de trabajo doméstico remunerado y no remunerado 
realizado por mujeres en el hogar es lo que mantiene el mundo en movi- 
miento.” (Federici 2012, p. 2) Con la globalización y la crisis neoliberal de 
los cuidados, han sido las mujeres migrantes y racializadas del Sur global 
quienes realizan mayoritariamente este trabajo. Y dentro de los países de 


América Latina, quienes realizan trabajo remunerado del hogar son mujeres 
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indígenas, afrodiaspóricas y mestizas empobrecidas. ¿Qué implicaciones 
tiene que la reproducción social de la vida esté mediada por aplicaciones 
móviles de celular? ¿Cómo impactará en la vida de las mujeres que el tra- 
bajo de cuidados ya de por sí precarizado ahora se organice a través de al- 
goritmos? 

Yorya trabajó como repartidora con Rappi y Glovo hasta sus siete 
meses de embarazo. Usaba sacos, chaquetas y chompas grandes para 
esconder su vientre, porque temía que si las empresas descubrieran que 
estaba embarazada, le cerrarían sus cuentas en las apps. Es decir, ¡la 
despedirían! Sus temores no eran infundados, en varios países a nivel 
mundial se habían reportado casos similares, mujeres embarazadas des- 
pedidas de apps de reparto. Mientras compañeras repartidoras como Yorya 
se enfrentan a estos niveles de desprotección en Pedidos Ya, Delivery 
Hero, Uber Eats, Rappi (Hidalgo, 2020b), compañeras conductoras de Uber 
ganan menos que los hombres por el mismo trabajo (Hunt y Samman, 
2019); compañeras trabajadoras remuneradas del hogar en Alia, Tidy, 
Handy, etc, denuncian acoso sexual y maltrato dentro de las casas y ofici- 
nas (Browning y Conger, 2020). 

Estas realidades nos deben llamar a la acción. Esa es la batalla que 
estamos luchando desde toda trinchera, reclamar dignidad para las perso- 
nas que trabajan dentro de empresas de plataformas digitales. La inciden- 
cia feminista y decolonial en los debates de la gig economy es fundamental 
para generar propuestas de lucha y resistencia ante el capitalismo tecnoló- 


gico. Disputar un futuro del trabajo con derechos laborales no puede estar 
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ajeno a la lucha feminista, antirracista, por regularización migrante. Estas 
pequeñas letras son ideas, preocupaciones, deseos de seguir explorando 
las implicaciones del avance tecnológico y cómo desde nuestros lugares 
situados de lucha podemos contribuir con otros mundos posibles. Con mis 
compañeras del Observatorio de Plataformas tenemos un lema, “que el al- 
goritmo no controle nuestra humanidad”. Estoy segura de que la interven- 


ción feminista y descolonial es fundamental para lograrlo. 
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Se prevé que el tamaño del mercado mundial de inteligencia artificial al- 
cance los 641 300 millones de USD para 2028 (Verified Market Research, 
2022) y los líderes notables en el nicho son Google, Amazon, Alibaba, Mi- 
crosoft, Facebook, entre otros. Si bien los países del Caribe son 
consumidores de bienes y servicios de estas empresas, todavía no tienen 
un impacto significativo y una contribución a la investigación e implementa- 
ción de lA. 

Estas empresas globales pueden verse como pioneras y guardianas 
de los datos y de la lA; sin embargo, la cuarta revolución industrial brinda 
igualdad de condiciones para todos y la capacidad de hacer que la educa- 
ción, el espíritu empresarial y la gobernanza sean más equitativos. (Wilson, 
2021) Los pequeños estados insulares se encuentran en una posición única 
para aprovechar la inteligencia artificial, el aprendizaje automático, el 


blockchain y otras tecnologías emergentes para transformar el sustento de 
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sus ciudadanos y hacer crecer sus economías para competir con el PIB de 
los países del primer mundo. 

El Caribe primero debe mirar los efectos coloniales históricos y resi- 
duales que resultan en una falta de representación y equidad para su gen- 
te. Esto incluye la atención médica y los datos subyacentes para 
diagnosticar, tratar y mejorar la vida de los pacientes. El impacto de la in- 
migración de trabajadores calificados, como enfermeras y maestras, que 
son predominantemente mujeres y que en la mayoría de los casos soportan 
la carga de mantener a sus familias, deja un vacío en muchos hogares y 


sesga los datos de los programas sociales y la asignación de recursos. 


Falta de datos 


Un gran desafío al escribir contribuciones como esta es que hay una 
falta de datos en el Caribe. En algunos casos, los datos solo se pueden en- 
contrar a partir de investigaciones realizadas por organismos internaciona- 
les y existen muy pocos datos dentro de las naciones insulares individuales. 
Si examinamos la atención médica y profundizamos en las enfermedades 
pélvicas, la investigación muestra que las mujeres negras se ven afectadas 
de manera desproporcionada más que cualquier otra raza. Según Bougie et 
al. (2019), se observa que las mujeres negras tienen solo la mitad de pro- 
babilidades de ser diagnosticadas con endometriosis en comparación con 
las mujeres blancas y continúan destacando que la raza/etnicidad puede 
influir en la capacidad de acceder a la atención médica y obtener el manejo 
adecuado para la endometriosis a través de una combinación de factores 


socioeconómicos, sociales e influencias genéticas. 
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En un artículo de Jamaica Observer, se informó que 100.000 
mujeres y estudiantes sufren de endometriosis (Jamaica Observer, 2014) y 
puede haber cientos de miles más sufriendo en silencio o simplemente sin 
darse cuenta. No hay datos combinados disponibles para el Caribe, sin 
embargo, según la Organización Mundial de la Salud, la endometriosis 
afecta a 1 de cada 10 mujeres. (OMS, 2021) La población total del Caribe 
es de aproximadamente 43 millones y las mujeres constituyen el 50 % de 
ese total, por lo tanto, si el 10 % de esa población sufre de endometriosis, 
estamos ante 2,1 millones de mujeres que potencialmente podrían estar 
sufriendo de endometriosis y pueden no estar diagnosticadas y no ser 
conscientes de eso. 

Esto destaca una importante preocupación de salud y la necesidad 
de investigación y datos adecuados para respaldar esta teoría. También 
existe una gran oportunidad de utilizar la lA para aprender hábitos, tenden- 
cias y patrones para ayudar con la detección temprana y la prevención del 
síndrome de ovario poliquístico, la endometriosis, la adenomiosis y cual- 
quier otra enfermedad pélvica que afecte a las niñas y mujeres jóvenes en 
sus años reproductivos. Podría haber una asociación entre los ministerios 
de atención de la salud de CARICOMI%4] para crear una aplicación específi- 
ca para nuestras necesidades regionales para recopilar datos relevantes 


para nuestra gente y utilizar esos datos anónimos para realizar investiga- 


[94] La Comunidad del Caribe es una organización internacional para el fortalecimiento de las relaciones en la región del Caribe, fundada 
en 1973 por el Tratado de Chaguaramas. Los países miembros son Trinidad y Tobago, Jamaica, Barbados, Guyana, Antigua y 
Barbuda, Belice, Dominica, Granada, Monserrate, San Cristóbal y Nieves, Santa Lucía, San Vicente y las Granadinas. (Wikipedia) 
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ciones y aprendizaje profundo para comprender las causas subyacentes, 
los desencadenantes y posiblemente encontrar una cura o indicaciones de 
opciones específicas de estilo de vida que pueden cambiarse o eliminarse. 
Si bien es posible que se realicen investigaciones al respecto en otros paí- 
ses fuera del Caribe, es importante tener en cuenta que la demografía es 
diferente, el entorno es diferente, la comida es diferente, por lo que debe- 
mos construir nuestros propios sistemas para abarcar un enfoque más in- 
clusivo para la investigación e implementación de la lA. 

La inmigración también es un área clave en la que tenemos una falta 
de inclusión y representación para apoyar la investigación de lA en el Cari- 
be. Según Batalova y Zong (2019), la diáspora caribeña en los Estados 
Unidos comprende casi 8 millones de personas que nacieron en una nación 
insular del Caribe o que informaron ascendencia de un país determinado en 
el Caribe. Entre 1980 y 2000, la población inmigrante del Caribe en el país 
aumentó en más del 50 por ciento cada diez años y las remesas que ingre- 
san a América Latina y el Caribe ascendieron a $103 mil millones en 2020. 
(CARICOM, 2021) Solo el Caribe recibe aproximadamente $12 mil millones 
de ese total (Batalova 8 Zong, 2019), en cuanto Haití y Jamaica represen- 
tan el 86,2% de las remesas que fluyen hacia los estados de CARICOM. A 
un nivel más amplio, la República Dominicana recibió más de la mitad 
(54%) de todas las remesas enviadas al Caribe, seguida por Jamaica (21%) 
y Haití (20%). 

Las remesas son un contribuyente fundamental para los hogares de 
muchos caribeños, pero también para el PIB de algunos de estos países. 


Como se señaló anteriormente, la mayoría de los inmigrantes son mujeres 
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y son el sostén de sus familias. El éxodo de mujeres de la región del Caribe 
afecta a la región en su conjunto y, como resultado, vemos casos de bajas 
tasas de matrimonio, hogares unifamiliares y niños criados por familias ex- 
tensas y abuelas. 

Si bien las remesas pueden ayudar a compensar los salarios más 
bajos y las peores condiciones económicas en el Caribe, es importante 
comprender el impacto de los hogares sin madre y de la ruptura de la uni- 
dad familiar. Debería haber más programas de investigación orientados a 
capturar datos y comprender el impacto de este cambio, usando lA para 
construir modelos que puedan aprender comportamientos e identificar pa- 
trones que podrían arrojar luz sobre las altas tasas de delincuencia y activi- 
dades delictivas entre hombres jóvenes, jóvenes en situación de riesgo 
social y otros desafíos socioeconómicos que aquejan a los diferentes go- 
biernos y comunidades del Caribe. Estos patrones y tendencias de com- 
portamiento podrían luego usarse para informar la intervención social y los 
programas de extensión comunitaria. Por lo tanto, la inteligencia artificial 
puede ayudar a informar la reasignación de recursos limitados a áreas que 


serían mejor atendidas y así tendrían mayor impacto. 
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La inteligencia artificial (IA) es un problema perverso al que se enfrenta la 
sociedad en todo el mundo. Es perverso porque es complejo y difícil de 
definir como una preocupación política. ¿Cómo se está utilizando y quién 
debe —¿quién puede?-— asumir la responsabilidad de garantizar que se 
utilice para mejorar la sociedad? A medida que avanza cada vez más para 
convertirse en una tecnología de uso general, no puede aislarse de las 
condiciones sociales y económicas en las que se produce y utiliza; de 
hecho, está cambiando la naturaleza misma de las sociedades y las eco- 
nomías, exigiendo nuevos tipos de investigación e intervenciones políticas 
para comprender y gestionar sus efectos. (Coyle, 2021). Lo que hace que la 
IA sea más compleja es la paradoja en la que está ligada: esta tecnología, 
que ofrece un gran potencial de transformación para las sociedades en su 
capacidad para calcular grandes franjas de información, a una tasa de efi- 
ciencia mucho mayor que cualquier mente humana, conlleva un gran riesgo 
para los derechos y valores fundamentales. La evidencia ha demostrado 


que incluso los usos más legítimos de la lA han causado daño a las perso- 
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nas y sus sociedades y entornos (Pizzi, Romanoff 8 Engelharat, 2021). 
Para agregar a esto, aún no conocemos las implicaciones o impactos com- 
pletos que la lA está teniendo, o tendrá, en diferentes sociedades alrededor 
del mundo. 

En respuesta, se han desarrollado marcos que establecen los princi- 
pios éticos básicos que deben respetarse a medida que se diseña, desa- 
rrolla, usa y evalúa la tecnología. Estos principios éticos reflejan algunos de 
los valores centrales de la sociedad humana que se considera amenazada 
por la lA, tales como: quién debe rendir cuentas por los daños que pueda 
causar o cómo podemos asegurarnos de que sabemos lo suficiente sobre 
cómo funciona una lA para ser capaz de aislar la causa de sus efectos no- 
civos. Los Principios sobre Inteligencia Artificial de la OCDE, adoptados en 
2019, han sido un marco particularmente importante en este sentido. 
(OCDE, 2019) A fines de 2021, se alcanzó otro hito importante para la co- 
munidad internacional cuando la Recomendación de la UNESCO sobre éti- 
ca en la lA (UNESCO, 2021) fue adoptada por unanimidad por los 193 
estados miembros. Esto constituye un gran avance en la ética de la lA: la 
Recomendación de la UNESCO ofrece un marco amplio sobre cómo se 
debe desarrollar y utilizar la lA para mejorar la sociedad humana en dife- 
rentes contextos alrededor del mundo, ofreciendo el primer instrumento 
global de este tipo y enfatizando la importancia de la diversidad y del con- 
texto cultural en la aplicación de sus disposiciones. 

A medida que avanzamos en la profundización de nuestra compren- 
sión colectiva de cómo la lA está remodelando nuestras sociedades y qué 


modelos de políticas se requieren para gestionar mejor sus efectos al ser- 
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vicio del bienestar humano y planetario, se necesita información sobre el 
estado global de la implementación de los principios de la UNESCO y las 
barreras que enfrentan los países para proteger a las personas de los ries- 
gos para los derechos humanos y las libertades democráticas que la lA 
puede traer. Esta es la premisa del nuevo Índice Global de lA Responsable 
(Índice Global). 


El Índice Global sobre lA responsable 


El Índice Global es una nueva herramienta basada en derechos que 
se está desarrollando para apoyar a una amplia gama de actores en el 
avance de las prácticas de lA responsable. Su objetivo es proporcionar un 
punto de referencia completo, confiable, independiente y comparativo para 
evaluar el progreso hacia una lA responsable en todo el mundo. En última 
instancia, al proporcionar investigaciones y datos para fomentar la rendición 
de cuentas, desarrollar intervenciones políticas más precisas y perfeccionar 
las mejores prácticas, además de fomentar la cooperación regional e inter- 
nacional, el Índice global reforzará la capacidad de los gobiernos, de las or- 
ganizaciones de la sociedad civil y de otras partes interesadas en todo el 
mundo para defender los principios de la |A responsable basada en los 
derechos. 

Una de las innovaciones clave del Índice Global es el desarrollo de 
un enfoque totalmente integrado basado en los derechos humanos que in- 
formará las dimensiones comparativas del Índice. Este enfoque es innova- 
dor por dos razones. Primero, por la codificación de las obligaciones de 


derechos humanos junto a los principios aceptados de la ética de la IA para 
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establecer puntos de referencia concretos para una lA responsable basada 
en los tratados y estándares de derechos humanos existentes. Y segundo, 
por desarrollar un índice — un instrumento de investigación diseñado para 
crear un sistema de clasificación contra el logro de puntos de referencia 
universalmente aplicables — que busca evaluar de manera justa el progreso 
de un país hacia la lA responsable con una metodología basada en los 
estándares de derechos humanos y en la realización progresiva de dere- 
chos socioeconómicos sujetos a los recursos disponibles, a fin de adaptar- 
se a las diversas condiciones dentro de los países. 

En este artículo introductorio al proyecto del Índice Global, discuto 
estas innovaciones con más detalle, describiendo exactamente lo que que- 
remos decir con un Índice Global basado en derechos y por qué creemos 


que esto es importante. 


Derechos humanos 


Los derechos humanos comprenden un marco ampliamente acepta- 
do para las condiciones básicas de la humanidad codificado en el derecho 
internacional, regional y nacional, con más de 170 países que han ratificado 
la declaración internacional de derechos (que consta de la Declaración 
Universal de Derechos Humanos, del Pacto Internacional de Derechos Ci- 
viles y Políticos, y del Pacto Internacional de Derechos Sociales, Económi- 
cos y Culturales). Esto incluye derechos a participar en la vida social, 
cultural y política; tener acceso a alimentos, agua, atención médica y vi- 
vienda para sobrevivir; tener protección social del Estado cuando sea ne- 


cesario; estar igualmente sujetos a leyes justas; tener libertad de 
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pensamiento; y tener estos derechos, y todos los demás derechos, realiza- 
dos y protegidos. 

En los sistemas regionales de derechos humanos que se han esta- 
blecido se enfatizan los derechos derivados de contextos históricos. Dentro 
del canon de la Organización de los Estados Americanos, por ejemplo, el 
derecho al trabajo y los derechos laborales justos son clave, mientras que 
dentro del sistema africano de derechos humanos, el derecho a estar libre 
de la esclavitud de la dominación y los derechos comunitarios tienen una 
importancia particular. La erradicación de la discriminación contra las muje- 
res y el logro de la igualdad de género sustantiva es una prioridad univer- 
sal, tal como se expresa en los Objetivos de Desarrollo Sostenible (ODS) 
de la ONU. 

La Al supone un riesgo para el disfrute y la realización de los dere- 
chos humanos en todo el mundo. Conocemos bien las infracciones al 
derecho a la privacidad involucradas en el uso intensivo de datos por parte 
de Al y los impactos en la libertad de movimiento y asociación de la vigilan- 
cia impulsada por la Al. La creciente evidencia de los efectos discriminato- 
rios dañinos de la lA en las mujeres, las minorías de género y las personas 
racializadas, entre muchos otros grupos vulnerables dentro de la sociedad, 
está impulsando a los actores de todo el mundo a considerar con mayor ur- 
gencia las herramientas necesarias para abordar este problema y poner en 
práctica los principios de lA responsable y ética. 

Lo que ha sido una prioridad política bastante menor es la forma en 
que la lA está contribuyendo a la desigualdad entre y dentro de los países 


en la distribución radicalmente desigual de sus beneficios y riqueza. Para 
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abordar esta preocupación, se requiere cooperación y solidaridad interna- 
cionales sobre el uso beneficioso de la IA para todas las personas en todas 


partes y el cumplimiento de estándares definidos de lA responsable. 


¿Por qué un enfoque basado en los derechos humanos? 


Un Índice Global basado en derechos puede ayudar a respaldar la 
promoción y la protección de los derechos humanos en el desarrollo y uso 
de la lA. Esto incluye ayudar a los titulares de deberes de derechos huma- 
nos a comprender sus responsabilidades en relación con la lA; a los go- 
biernos, en el cumplimiento de sus obligaciones de derechos humanos en 
un contexto digital cambiante; a las defensoras y los defensores de los de- 
rechos humanos en el seguimiento y en la defensa de la protección de los 
derechos humanos en riesgo por la Al; y a los titulares de derechos para 
reclamar sus derechos y acceder a remedios y reparaciones cuando esos 
derechos se hayan violado. 

Los derechos humanos constituyen un marco ejecutable para la pro- 
tección de las personas y de las comunidades frente al abuso de poder. 
Discutido con más detalle en las secciones a continuación, esto significa 
que nuestro punto de partida para medir de manera justa el progreso de un 
país en lA responsable es un conjunto de normas y estándares ya acorda- 
dos por los gobiernos de todo el mundo y por la comunidad internacional. 

Además, un enfoque basado en los derechos obliga a un enfoque de 
diseño particular que se centre en la no discriminación y la igualdad sus- 
tantiva; la inclusión y la participación, particularmente con las comunidades 


afectadas; la transparencia y la accesibilidad, de modo que los datos que 
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producimos y la metodología que adoptamos puedan ser utilizados y en- 
tendidos por otros; y la equidad, de modo que el índice refleje fielmente los 
contextos y las realidades locales. 

Sin embargo, los derechos humanos no están exentos de limitacio- 
nes y críticas, como ha sido expresado por académicos y especialistas. 
Antes de detallar lo que entendemos por un enfoque basado en derechos 
humanos, es importante considerar estas preocupaciones y sus implicacio- 


nes para diseñar un Índice Global inclusivo y con impacto. 


Superación de las limitaciones de los derechos humanos 
A. Exigibilidad 


Una crítica clave del sistema de derechos humanos es su 
falta_de eficacia para alcanzar el cambio radical necesario para 
lograr un mundo verdaderamente justo e igualitario debido a su 
amplio alcance y su carácter de ley blanda, no jurídicamente vin- 
culante. Esto significa que cuando se han firmado tratados interna- 
cionales o regionales de derechos humanos sin incorporarlos en las 
leyes nacionales, los mecanismos de aplicación de esos tratados 
son a menudo ineficaces. 

Estos argumentos son particularmente importantes en el con- 
texto de la ética de la lA donde, hasta la fecha, el espacio se carac- 
teriza en gran medida por estándares éticos no vinculantes y 
medidas de autorregulación. En este sentido, hay lecciones que 


aprender del sistema internacional de derechos humanos sobre los 
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mecanismos de aplicación y supervisión, así como la necesidad de 
apoyar activamente la puesta en práctica nacional de la ética de la 
IA a través del desarrollo de capacidades de personas, sistemas e 
instituciones, la colaboración entre naciones y con organizaciones 
internacionales, y la transparencia, para permitir el monitoreo y la 
presentación de informes independientes. 

Sin embargo, quizás de manera más definitiva, el sistema de 
derechos humanos desarrollado durante los últimos 70 años brinda 
la base para articular y establecer deberes y responsabilidades 
claros para los actores involucrados en el desarrollo y uso de la lA y, 
por lo tanto, otorga mayor peso y contenido a los principios de lA 
éticos y responsables. De esta manera, el discurso y la regulación 
en torno a la lA responsable pueden aprovechar la experiencia y la 
jurisprudencia del sistema de derechos humanos, dando contenido a 
los derechos, orientación sobre su cumplimiento y realización 
progresiva, y precedencia en el equilibrio de derechos e intereses 


contrapuestos. 


B. Hacer que las empresas rindan cuentas por las 


violaciones de los derechos humanos 


Tradicionalmente, los derechos humanos han impuesto a los 
gobiernos, como titulares de deberes, la obligación de proteger o 
hacer realidad los derechos humanos de las personas y las comuni- 


dades como titulares de derechos. Históricamente, los actores 
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corporativos no han tenido responsabilidades específicas y directas 
en materia de derechos humanos. Si bien la responsabilidad última 
de proteger y promover el respeto a los derechos humanos recae en 
los gobiernos, la falta de responsabilidades específicas basadas en 
los derechos humanos para las empresas ha planteado una limita- 
ción en el disfrute y la realización de estos derechos, particularmente 
en contextos en los que los gobiernos no cumplem - o no son capa- 
ces de cumplir - con sus propios deberes de derechos humanos o 
exigir que las empresas rindan cuentas. Esto se ve exacerbado en 
países de bajos recursos donde las empresas multinacionales que 
operan en la región ejercen un poder significativo sobre los gobier- 
nos locales. 

En el contexto de la lA, la responsabilidad corporativa por su 
uso y desarrollo es un componente crítico de la lA responsable. Sin 
embargo, esto se complica por la falta de marcos aplicables para 
obligar a las empresas a actuar de manera responsable y respetar 
los derechos humanos. Ha resultado particularmente difícil hacer 
que las grandes empresas tecnológicas y multinacionales de lA rin- 
dan cuentas por los daños cometidos fuera del país en el que tienen 
su sede; por ejemplo, el papel de Facebook en el genocidio de 
Myanmar. 

En este sentido, se necesita hacer mucho más para obligar a 
las empresas de lA a desarrollar y utilizar la lA responsablemente de 
manera que no sea perjudicial para las personas o las comunidades. 


En 2011, el profesor John Ruggie publicó el fundamental 
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Principios rectores de las Naciones Unidas sobre las empresas y los 
derechos humanos, que puso en marcha debates y compromisos 
más amplios sobre cómo las empresas deberían y podrían rendir 
cuentas por sus responsabilidades relacionadas con los derechos 
humanos. (Ruggie, 2011) Los Principios Rectores de la ONU inclu- 
yen disposiciones que serán especialmente importantes para su 
consideración en el Índice Global, como la responsabilidad de las 
empresas de garantizar el respeto de los derechos humanos en to- 


das las cadenas de suministro de las empresas. 


C. ¿Quién es considerado “humano” en derechos 
humanos y el Sur Global en el centro de los debates de 
|A? 


Otra crítica importante de los derechos humanos proviene del 
pensamiento poscolonial y descolonial, que señala la historia clara- 
mente occidental de los derechos y la noción de que la provisión de 
derechos a la humanidad implica un a priori de quién es considerado 
humano y, por lo tanto, digno de tener derechos. 

Esta es también una pregunta particularmente pertinente en 
relación al campo de la |A que busca imitar la inteligencia humana y, 
en última instancia, reproducir al ser humano en forma de máquina 


(ya sea en parte o en su totalidad). Involucrados en este proceso 
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están los supuestos críticos —y normativos— sobre quién y qué es 
el ser humano.!*Adams, 2021) 

En el evento de anuncio del Índice Globall*él que se llevó a 
cabo como un evento paralelo a la Cumbre por la Democracia 2021, 
la profesora del Tecnológico de Monterrey, Paola Ricaurte, habló 
sobre la importancia de abordar las cuestiones de violencia y asi- 
metrías de poder en el Índice Global como áreas críticas para el tra- 
bajo feminista y descolonial de Al. Esto incluye cuestionar cómo las 
tecnologías de lA permiten la violencia contra las mujeres; qué vio- 
lencias se ejercen, cómo y quién crea la lA, las condiciones labora- 
les injustas a las que están sometidas las personas como 
etiquetadoras de imágenes perturbadoras para entrenar lA; el acoso 
sexual o la discriminación por motivos de género como parte de los 
equipos de diseño de lA; la pérdida de un entorno saludable por la 
extracción insostenible de los recursos naturales necesarios para 
impulsar la lA, entre otros aspectos. 

Al desarrollar el Índice Global, estos temas serán una preo- 
cupación central. Realizaremos una serie de ejercicios de consulta 


con grupos de derechos de las mujeres, académicas y académicos 


[95] En relación con los derechos humanos, también hay debates importantes y emergentes sobre si los robots, una vez que tengan 


[96 


capacidad de sentir, deberían tener derechos, similar a los derechos humanos. Y, si un robot tiene agencia, si un robot no debería tener 
también responsabilidades y obligaciones relacionadas con los derechos humanos. Estas discusiones quedan fuera del alcance actual 
del Índice Global ya que son, en esta etapa, preocupaciones conceptuales y no afectan de inmediato la realización o el disfrute de los 
derechos humanos. 

“Moving from principles to practice in responsible Al around the world: Announcement of the new Global Index on Responsible Al”. La 
grabación del evento está disponible en: 
https://www.idrc.ca/en/events/moving-principles-practice-responsible-ai-around-world-announcement-new-global-index 
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indígenas de Al, grupos de defensa de los derechos humanos y par- 
tes interesadas del Sur Global, para comprender mejor las preocu- 
paciones particulares que enfrentan diferentes grupos en diferentes 
partes del mundo en relación con la lA con el fin de construir un ín- 
dice que aborde los desafíos reales y prácticos y que se pueda utili- 
zar como una herramienta para respaldar mayores esfuerzos de 
defensa de la lA responsable. 

Además, el Índice Global es quizás la primera herramienta 
global de lA que se desarrolla con el liderazgo del Sur Global, ya que 
la iniciativa está dirigida por Research ICT Africal*?l con un equipo de 
personas expertas en inteligencia artificial de África, Asia y América 
del Sur. En el proceso de desarrollo del Índice Global, se hará espe- 
cial hincapié en apoyar la capacidad de los investigadores de lA del 


Sur Global para participar -y liderar- debates globales sobre lA. 


Un enfoque basado en los derechos humanos 


Los elementos de un enfoque basado en los derechos humanos se 
han detallado en el derecho internacional de los derechos humanos y con- 


sisten en los siguientes cinco principios: 


[97] http:/Awww.researchictafrica.net/ 
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Principios de un enfoque basado en los derechos humanos 


Universalidad e inalienabilidad : Toda persona tiene derecho a todos los 
: derechos humanos, por igual y sin distinción 


PPP rr rro rr rra a roca o acre rr coros rro cro coros 


Indivisibilidad e ¿Todos los derechos son inherentes a la 
interdependencia : dignidad humana: la realización y el disfrute 
: de un derecho depende de la realización de 
¿otro derecho. Esto requiere una realización 
: holística de todos los derechos y ninguna 
: compensación entre los derechos. 


Igualdad y no discriminación : Todos los seres humanos son iguales en virtud 
: de su dignidad inherente. Como tal, todos 

: los seres humanos tienen derecho al disfrute 
igualitario de sus derechos sin discriminación 


Participación e inclusión : Todas las personas tienen derecho a una 
: participación equitativa, libre, activa 
¿y significativa en la implementación y 
:el disfrute de todos los derechos 


Rendición de cuentas y : Todos los titulares de deberes (tanto jejee 
estado de derecho : como no estatales) tienen obligaciones con 
: respecto a la realización de los derechos 
: humanos. Como tales, deben cumplir con las 
: normas y estándares legales en materia de 
: derechos humanos que se han establecido 
: a nivel nacional e internacional. Si no lo 
: hacen, las partes agraviadas tienen derecho 
: a Un recurso o reparación efectivos. 


Adaptado de Adams et al. (2021). 


Estos principios se adoptarán en el diseño de la metodología y del 
marco conceptual del Índice Global, como se analiza a continuación. Como 


mínimo, esto incluye atención específica a lo siguiente: 
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o Énfasis en la no discriminación 

o Énfasis en la realización de la igualdad sustantiva y el reconoci- 
miento de la experiencia diferencial de disfrute o acceso a los dere- 
chos en la era digital 

o Énfasis en la consulta pública significativa, en la participación y en 
la inclusión en el diseño, uso y gobernanza de la lA 

o Interferencia de los sistemas de lA con los derechos proporcionada, 
legítima y razonable en una sociedad democrática y establecida por ley 
o Beneficencia y distribución justa de los beneficios de lA para pro- 
teger contra el empeoramiento de la desigualdad. 

o Recurso a la jurisprudencia nacional, regional e internacional sobre 
derechos humanos para equilibrar derechos y principios contrapuestos 
o Exigencia a los actores no estatales poderosos que tomen medi- 
das positivas para realizar y proteger los derechos humanos afecta- 
dos por el desarrollo y por el uso de la lA 

o Mecanismos de reparación y remedio cuando se produzcan viola- 
ciones como resultado del desarrollo y del uso de la lA deben ser fá- 
cilmente accesibles 

o Conocimiento y acceso a derechos en el contexto de la lA y de la 
digitalización de la sociedad por parte de sus titulares 

o Enfoque en crear futuros inclusivos a través del diseño inclusivo de 
tecnología inclusiva 

o Desarrollo de una regulación que tenga en cuenta la indivisibilidad 
e interdependencia de los derechos de manera que, por ejemplo, el 
derecho a la privacidad se entienda junto a la dignidad, a la libertad 


de circulación y a la no discriminación, entre otros 
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Definición de “responsabilidad” 


En los últimos años, ha habido un cambio en el discurso sobre la 


buena gobernanza de la lA, de una lA ética a una lA responsable. Si bien la 


IA ética conserva su fortaleza, junto con la lA confiable, y aunque en la 


práctica puede haber una diferenciación limitada entre estos términos, los 


derechos humanos brindan un marco claro de responsabilidad que consi- 


deramos útil para definir la lA responsable. 


Esto se traduce en el siguiente marco de responsabilidad de la lA: 


Marco de responsabilidad de derechos humanos 


Promover : Proteger de- 
derechos ¿echos 


Gobiernos; la : : Gobiernos (y 
sociedad civil: : empresas que 
y los orga- ¿cumplan con 
nismos de  :un deber gu- 
promoción; ¿bernamental 
empresas : de derechos 

: humanos) 
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: y empresas 


: Monitorear : Reclamar 

: derechos : derechos 

: Organismos : Individuos y 
:independientes ¿comunidades 
: de derechos : 

: humanos; la so- 

: ciedad civil y los 

: grupos de defen- : 

:Sa; académicos, 

: entre otros. 
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Marco de Responsabilidad de IA y derechos humanos 


Responsabilidad del gobier- * Promover el desarrollo responsable de 
no: garantizar que en el país sistemas de lA que respeten los dere- 
existan las condiciones para chos, incluido el establecimiento de mar- 
el uso responsable de la lA cos legales y regulatorios pertinentes. 


PPPLLLLLLLLALAAAAAU00 


: + Supervisar el impacto de la lA en los 
: derechos humanos y proporcionar reme- 
¿dios para las violaciones de los derechos 


Responsabilidad corporati- : + Desarrollar y utilizar sistemas de lA 
va: promover y respetar los : de manera que promuevan los derechos 
derechos humanos en el de- : humanos y fortalezcan la democracia 


sarrollo y en el uso de la lA : 
: + Respetar los derechos humanos en 
: todas las cadenas de suministro 


Responsabilidad social: pro- 
mover y monitorear los de- 
rechos humanos por parte 
de las y los usuarios y de las 
y los desarrolladores de lA 


+ Defender el respeto por los derechos 
humanos en el uso y en el desarrollo de lA 


e Monitorear el uso estatal y cor- 
: porativo de lA y promover la con- 
: ciencia de los derechos. 


Este marco de responsabilidad incluye tanto la no injerencia en los 
llamados derechos de deber negativo, como la libertad de expresión y el 
derecho a la privacidad, como también los derechos de deber positivo, 
como son el derecho a la educación o el acceso a la atención médica. Esto 
es importante en el contexto de la “lA responsable”, donde queremos ase- 
gurarnos de que la IA no solo se use de una manera ética que no infrinja 
los derechos humanos, sino que su uso contribuya de manera significativa 
a la realización progresiva de derechos y deberes positivos y de los 


Objetivos de Desarrollo Sostenible. 
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Codificación de estándares de lA responsables basados 
en derechos 


El Índice Global implicará un proceso para codificar las obligaciones 
y los estándares de derechos humanos junto con principios éticos de lA 
ampliamente aceptados. La Recomendación de la UNESCO constituye un 
importante punto de partida para nuestro trabajo, articulando la protección y 
promoción de los derechos humanos como uno de sus principios centrales, 
junto con la diversidad y la sostenibilidad ambiental. Otros marcos clave in- 
cluyen la Declaración de Toronto: Proteger el derecho a la igualdad y la no 
discriminación en los sistemas de aprendizaje automático (Amnistía Inter- 
nacional, 2018), el Protocolo Indígena e Inteligencia Artificial (Lewis, 2020), 
y los principios feministas de la lA (Tandon, 2021). 

La Recomendación de la UNESCO se desarrolló después de un ex- 
tenso período de consulta de 2 años con partes interesadas de todo el 
mundo y representa el marco más completo y ampliamente aceptado sobre 
la ética de la lA hasta la fecha. 

La metodología central para medir la lA responsable se basará en el 
marco de valores, principios y áreas de acción política establecidos en la 
Recomendación de la UNESCO que deben traducirse en un conjunto de 
indicadores clave basados en los derechos humanos para respaldar la me- 
dición. (Consulte la sección a continuación para obtener más información 
sobre el desarrollo de indicadores.) 

Nuestro enfoque de derechos humanos abarca no sólo los derechos 
civiles y políticos, como la privacidad, la libertad de expresión y asociación, 


que están bien reconocidos como afectados por la lA, sino que, a partir de 
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la Recomendación de la UNESCO y de los aportes de la consulta con las 
partes interesadas del Sur Global, también incluye los derechos sociales, 
económicos, ambientales y culturales, los derechos de la comunidad, los 
derechos laborales y los derechos de las niñas y los niños. La erradicación 
de la discriminación contra las mujeres y los grupos sistémicamente desfa- 
vorecidos en virtud de su identificación sexual, junto con la realización de 
una igualdad de género sustantiva, también constituirán áreas de enfoque 


clave del Índice Global. 


Un enfoque basado en los derechos humanos como met- 
odología 


Uno de los principios clave del diseño del Índice Global es la equi- 
dad. Es decir, reflejar de manera justa los contextos y las realidades locales 
y medir el nivel de |A responsable de un país en relación con los recursos 
disponibles. Esto no solo es importante porque tenemos en cuenta la desi- 
gualdad global de capacidad y recursos de lA entre países, sino porque los 
resultados justos y contextuales son mucho más informativos y útiles para 
los países y las partes interesadas locales que buscan avanzar en su pro- 
pio progreso hacia una lA responsable. 

Sin embargo, incorporar la equidad en la metodología de un índice 
no es sencillo. Los índices tienden a utilizar puntos de referencia estándar 
para medir a los países frente a criterios universales como base para la 
clasificación. En cambio, el Índice Global se inspira en el sistema de dere- 
chos humanos para entender cuáles serían las medidas que se esperaría 


que tomen los países de diferentes niveles de recursos para proteger y 
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cumplir los derechos humanos. El Pacto Internacional de Derechos Econ- 
ómicos, Sociales y Culturales (PIDESC), ratificado por más de 140 países, 
prevé el concepto de la realización progresiva de los derechos sujeta al 
máximo de recursos disponibles. Esto significa que se espera que los go- 
biernos tomen todas las medidas posibles utilizando los máximos recursos 
disponibles para apoyar la realización de los derechos socioeconómicos de 
deber positivo, como el agua, la vivienda y la seguridad social. Reconoce 
que los países se encuentran en diferentes etapas en la realización de los 
derechos socioeconómicos y no todos disfrutan del acceso al mismo nivel y 
escala de recursos necesarios para cumplir con la realización de estos de- 
rechos. Los recursos disponibles (CESCR, 2007) incluyen tanto los recur- 
sos disponibles dentro de un país (públicos y privados) como los recursos 
disponibles a través de la asistencia y cooperación internacional. 

El Índice Global se basará en el concepto de la realización progresi- 
va de los derechos sujetos al máximo de recursos disponibles en su meto- 
dología de dos maneras principales. Primero, en el desarrollo de un 
conjunto de indicadores que midan también el proceso y el desarrollo de 
capacidades y no solo los resultados. Y segundo, en el desarrollo de un 
marco de evaluación de criterios que medirá el progreso de un país en el 
logro de un indicador de lA responsable frente a una escala desarrollada de 
acuerdo con tres niveles de recursos: países de bajos recursos, países de 
recursos medios y países de recursos altos. 

Los indicadores pueden incluir: indicadores de “entrada”, como la 
ratificación de instrumentos clave de derechos humanos o la existencia de 


una ley de protección de datos; indicadores de “proceso”, como la inversión 
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en programas de ciencia de datos para mujeres; e indicadores de “resulta- 
do” e “impacto”, como el número de denuncias relacionadas con Al presen- 
tadas ante un organismo independiente de protección de los derechos 
humanos. El desarrollo de indicadores se realiza y se seguirá realizando en 
consulta con una amplia gama de partes interesadas en un esfuerzo por 
abordar el ámbito completo de los desafíos (y oportunidades) de derechos 
humanos asociados con la lA. 

El Índice Global también tendrá en cuenta las obligaciones básicas 
mínimas establecidas en el PIDESC, que requieren que ciertas obliga- 
ciones socioeconómicas de derechos humanos de los gobiernos se 
cumplan de inmediato y siempre, incluso en un estándar básico. Esto inclu- 
ye el acceso a oportunidades laborales, en particular para las comunidades 
desfavorecidas y el acceso a un plan de seguridad social para garantizar 
las necesidades básicas, como agua, vivienda y alimentación. Por lo tanto, 
el Índice Global incluirá una evaluación de si la lA interfiere con las obliga- 
ciones básicas mínimas de un gobierno, o si se utiliza de manera efectiva 


para cumplirlas. 
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Sigue la pista: 
Iniciativas y recursos sobre 
inteligencia artificial 


Iniciativas desde la 

sociedad civil para la 
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ética en inteligencia pi) 


Laura Alonso Alemany 
Luciana Benotti 


artificial Matías Bordone 
Beatriz Busaniche 

Lucía González 

Alexia Halvorsen 


Fundación Vía Libre 
Argentina 


Cada día más procesos sociales y decisiones son atravesados por sistem- 
as automatizados basados en sistemas algorítmicos. Estos procesos rara 
vez son transparentes e implican impactos sobre los derechos de la 
ciudadanía. Desde Fundación Vía libre trabajamos hace tiempo en el 
seguimiento, análisis y el debate desde la ética y los Derechos Humanos 
para que la adopción de Inteligencia Artificial (IA) no implique retrocesos en 


la calidad de vida y la dignidad de las personas.!*8l 


[98] En este marco consolidamos durante el 2021 un grupo de trabajo de ética en IA de Fundación Vía Libre (FVL). El equipo es 
interdisciplinario, Luciana es del área de informática, Laura Alonso es de lingúística, y ambas investigan en lingúística computacional 
junto a Lucía, quien está haciendo su tesis de maestría en computación en el marco del equipo. Matías Bordone, también de 
informática, se especializa en educación. Laura Ación se especializa en bioestadística e investiga en el área de ética en ciencia de 
datos. Beatriz Busaniche y Alexia Halvorsen del área de comunicación y se dedican en Fundación Vía Libre a analizar la intersección 
entre derechos humanos y tecnología.) 
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Durante el 2021, llevamos adelante una serie de conversaciones que 
tratan la relación entre ética e lA desde distintos puntos de vista y que pre- 
tenden contribuir al objetivo de analizar críticamente las tecnologías que 
atraviesan nuestra vida, sin perder de vista que la capacidad de desarro- 
llarlas e implementarlas. El enfoque de estas conversaciones consistió en la 
búsqueda de la diversidad de voces presentes en esta área, desde el sur y 
con una perspectiva feminista por ser crítica, multidisciplinar y por poner en 
el escenario a distintos tipos de minorías en lA: mujeres, argentines, 
colombianes, inmigrantes y personas con formación en humanidades. 

A lo largo del 2022, estamos trabajando en el desarrollo del proyecto 
“Diagnóstico y mitigación de sesgos desde América Latina en procesa- 
miento de lenguaje natural” en el marco del programa de investigación de la 
<A+> Alliance. 

En esta publicación desarrollaremos brevemente cada una de las 
conversaciones y expondremos los puntos claves de debate, discusión y 
conflicto que emergieron en cada una de ellas. Pretendemos que este 
resumen colabore en la construcción de una agenda de investigación- 


acción en inteligencia artificial elaborada desde Latinoamérica. 


¿A dónde entra la ética en el desarrollo de lA?: Luciana Benotti, 


Laura Ación y Laura Alonso Alemany 


En esta conversación inicial, tres integrantes de nuestro grupo de- 
batieron sobre el lugar de la ética en el desarrollo de tecnología. Luciana 
Benotti es Doctora en Informática del Instituto Francés de Investigación en 


Informática y Automatización e investigadora en CONICET sobre tecno- 
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logías para sistemas de diálogo y sus interacciones con aspectos sociales y 
contextuales. Laura Ación es doctora en estadística de la Universidad de 
lowa en EEUU e investigadora del CONICET en el Instituto de Cálculo de la 
Universidad de Buenos Aires. Trabaja en investigación con datos de salud 
desde 1999. Laura Alonso Alemany es doctora en lingúística, profesora en 
la Universidad de Córdoba y trabaja en aplicaciones de procesamiento del 
lenguaje natural usando aprendizaje automático. 

Uno de los principios que se establecieron fue la idea de que la tec- 
nología no es neutral y los desarrolladores deben estar sensibilizados sobre 
los posibles impactos sociales de lo que desarrollan. La falta de sensibiliza- 
ción actual podría relacionarse con que gran parte de las carreras de desa- 
rrollo de software, históricamente, no incluían ética entre sus materias. 

Por ética se refirieron a tres principios fundamentales: 1. Respeto por 
las personas, los animales y el medio ambiente y su autonomía; 2. Justicia, 
es decir tratar a las personas de manera justa, equitativa y digna; 3. Bie- 
nestar de quienes participan directa e indirectamente de desarrollos de lA. 

Para poder integrar la ética a la actividad informática hay que desa- 
rrollar contenidos curriculares locales y atender a los escenarios locales con 
ejemplos ligados a la disciplina. “Estamos muy acostumbrados a copiarnos 
currícula de otros países para materias técnicas [...] pero en este tipo de 
cosas necesitamos material desarrollado acá” comentó Luciana Benotti. 

Otro punto relevante fue la importancia de incluir diferentes perspec- 
tivas en el ciclo de vida del software, además de métricas y herramientas 
que ayuden a reducir los impactos sociales negativos. No se puede reducir 


la responsabilidad ética únicamente a los valores personales y aparecen los 
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financiadores, quienes toman gran parte de las decisiones condicionantes y 
los Estados, que pueden incidir no solamente como sancionadores sino a 
través de programas de incentivos. 

Sobre el cierre, las entrevistadas concluyen que muchos de los pro- 
blemas éticos no son nuevos y el enfoque debe ponerse en aprender de y 
dialogar con otras áreas. Este punto abre la puerta al resto de las conver- 


saciones que llevamos adelante durante el ciclo. 


Regulación de inteligencia_artificial desde Argentina: Vanina_Marti- 
nez, Sofia Scaserra, Enrique Chaparro y Beatríz Busaniche 


Vanina Martinez es doctora en Ciencias de la Computación, investi- 
gadora del CONICET y coordinadora de Ciencia de Datos e Inteligencia 
Artificial en la Fundación Sadosky. Sofía Scaserra es economista especia- 
lista en comercio internacional. Se desempeña como docente e investiga- 
dora del Instituto del Mundo del Trabajo (Universidad Nacional de Tres de 
Febrero, UNTREF). Enrique Chaparro es matemático e integrante de la 
Fundación de Vía Libre donde estudia hace años los impactos sociales de 
las tecnologías. 

Un primer problema es que el objeto de lo que queremos regular está 
mal definido. “Para poder establecer los límites es necesario determinar 
aquello que estamos limitando” enfatiza Enrique Chaparro. Esto se complica 
además por la transversalidad en la que se aplica la inteligencia artificial. 

Otro punto de debate es la soberanía de los Estados. En este punto 
surge la idea de que debe haber una normativa de arquitectura digital y 


este es un debate que falta a nivel nacional. Desde Argentina uno de los 


Inteligencia Artificial Feminista 
286 Hacia una agenda de investigación en América Latina y el Caribe 


Iniciativas desde la sociedad civil para la sensibilización 
en temas de ética en inteligencia artificial 


marcos que tenemos disponibles para aplicar es la Ley de Protección de 
Datos personales la cual es, a su vez, anacrónica. Ante estos interrogantes 
los Estados deben fortalecerse. Por otro lado, hay debates que están sal- 
dados por derechos existentes, solo se tienen que hacer cumplir. Como 
pueden ser los derechos laborales. 

Ante la pregunta de qué es lo más urgente se mencionan algunos 
aspectos que efectivamente es necesario una moratoria como pueden ser 
el reconocimiento facial y las armas autónomas. Más allá de estos 
ejemplos, la conversación derivó en que es necesario pedir transparencia 
en todo el proceso y velar por el proceso democrático. 

A modo de cierre quienes integran la mesa concluyen en que la ética 
es un buen punto de partida, pero es necesaria la regulación para hacer 


prácticos estos principios. Es un problema político. 


¿Cuáles son las preguntas necesarias sobre el rol de la lA en nues- 
tras vidas? — Tomás Balmaceda y Diana Pérez 


Laura Ación entabla una conversación con Tomás Balmaceda y 
Diana Pérez, doctores en filosofía que forman parte del Grupo de Inteligen- 
cia artificial, Filosofía y Tecnología (GIFT). Este grupo viene profundizando 
en diferentes miradas sobre “cómo la tecnología afecta nuestra forma de 
ser humanos o humanas sobre la tierra, nuestras formas de desarrollarnos 
y de dar sentido a nuestras vidas”. Así abre Diana la conversación, contán- 
donos cómo la filosofía nos provee de dimensión histórica, diferencias 
transculturales y experimentos mentales como herramientas para entender 


aspectos complejos de la relación entre la tecnología y las personas. 
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En la charla se hace un recorrido por diferentes tipos de artefactos 
tecnológicos a lo largo de la historia y cómo esos cambios tecnológicos han 
producido cambios sociales y en nuestra forma de vida y, en ese sentido, la 
Inteligencia Artificial puede suponer una revolución como lo supuso la 
Revolución Industrial, aunque es difícil en este momento dimensionar su 
magnitud. En cualquier caso, señalan una cuestión fundamental: las apro- 
ximaciones basadas en aprendizaje automático, que identifican y repiten 
patrones, no parecen exactamente una herramienta para el cambio, sino 
más bien para la consolidación del statu quo. 

Los filósofos nos comparten reflexiones sobre el proceso de traducir 
situaciones complejas de la vida real a lenguaje matemático, para poder 
trabajar con algoritmos. En este trabajo de traducción se pierden matices y 
eso ya es un indicador de que no podemos confiar en que el resultado sea 
objetivo. Dice Diana que “es una ilusión pensar que porque hay algo formal, 
lógico o matemático al medio todas nuestras acciones humanas alrededor 
de eso lógico-matemático que tenemos delante nuestro resulta objetivo y 
neutral”, porque sigue habiendo decisiones y valoraciones humanas involu- 
cradas. 

Sobre el problema de los sesgos en inteligencia artificial, Tomás 
propone desbancar el concepto de que algo sea intrínsecamente bueno. 
Plantea en cambio una conversación sobre los valores comprometidos en 
los desarrollos con inteligencia artificial. Esta gran conversación tiene que 
incorporar perspectivas diversas: distintas generaciones, distintas orienta- 
ciones, distintas identidades, distintas formas de comprender el mundo, 


distintos lugares que tienen las personas frente al mundo. 
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Inteligencia Artificial Abierta - Matthias Gallé y Pedro Ortíz Suárez 


En esta entrevista realizada por Luciana Benotti, Matthias Gallé y 
Pedro Ortíz Suárez nos cuentan del proyecto Big Science para hacer más 
accesibles algunos modelos muy grandes de inteligencia artificial. Matthias 
Gallé dirige varios equipos de investigación en Francia, en un centro de in- 
vestigación de una empresa coreana. Pedro Ortíz es máster en matemáti- 
cas en la Universidad de Aix-Marseille en Francia. Actualmente es 
doctorante en tercer año de tesis en Sorbonne Université y en el INRIA. 
Pedro investiga aplicaciones de aprendizaje automático a las ciencias hu- 
manas y Matthias investiga sobre grandes modelos neuronales para enten- 
der mejor su comportamiento. 

A medida que la carrera por quién tiene el modelo más preciso se 
intensifica, cada vez es necesario más poder de cómputo para poder si- 
quiera hacer uso de estas tecnologías. Como consecuencia, quienes desa- 
rrollan estos modelos son unas pocas (y cada vez menos) empresas 
privadas que pueden permitirse el hardware necesario. Ninguno de estos 
modelos es accesible. Si bien muchos de estos modelos son de “código 
abierto”, la gran mayoría de instituciones no puede acceder al hardware 
necesario para utilizarlos e inspeccionarlos para entender mejor su com- 
portamiento. 

Mediante la iniciativa Big Science se consiguió el poder de cómputo 
necesario para entrenar un modelo para varios idiomas y dejarlo abierto 
para que se pueda acceder, analizar y estudiar. Aproximadamente 800 in- 
vestigadores y científicos de 45 países de todo el mundo participan en este 


proyecto de forma altruista. El área de Inteligencia Artificial es muy compe- 
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titiva, pero el modelo colaborativo permite cosas que no son factibles en el 
modelo competitivo. Por ejemplo, tener personas de todos los continentes y 
países facilita contactar instituciones, bibliotecas, distintas organizaciones 
en diferentes países para obtener datos de calidad. 

Otro de los objetivos del proyecto es la recolección, filtrado y selec- 
ción de datos de texto de calidad, inspeccionados por personas con diver- 
sas perspectivas, formaciones y sesgos. “Los modelos van y vienen, lo que 
quedan son los datos”. Cuando los modelos se entrenan con datos sin cu- 
rar suelen filtrarse contenido que termina siendo reproducido por el modelo: 
racismo, sexismo, violencia, homofobia. 

A modo de conclusión, la sociedad civil puede alentar y promover la 
diversidad en el mundo digital y, por otro lado, mantener el espíritu crítico: 
no dudar en hacer preguntas, no dejar de quejarse, no asumir que porque 


la computadora lo dijo no hay nada más que hacer. 


Una visión crítica de la inteligencia artificial para el bien - Sasha 
Luccioni 


En esta entrevista Luciana Benotti entrevista a Sasha Luccioni. Sas- 
ha es investigadora en IA en Canadá con formación en ciencias cognitivas 
y ha colaborado con la UNESCO en proyectos que intentan combatir la de- 
sinformación. El objetivo de esta entrevista es dar una visión crítica sobre la 
IA para el bien. A continuación describimos tres aportes de la entrevista: 
definir IA para el bien, ilustrar lo contraproducente que puede ser, y discutir 


aspectos a tener en cuenta al intentar hacerla. 
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Desde la perspectiva de Sasha, la lA para el bien es un movimiento y 
también un área de investigación que toma aplicaciones de la lA como tra- 
ducción automática o clasificación automática de textos y las usa para benefi- 
ciar a la sociedad. Hay personas que argumentan que algunas empresas 
desarrollan proyectos bajo este slogan desde el área de relaciones públicas 
para conseguir un lavado de imagen de la lA que usan estas empresas y de 
las empresas mismas. 

La inteligencia artificial para el bien se aplica en áreas relacionadas 
con los derechos humanos, como la salud, la educación y la pobreza. Por 
ejemplo, Inglaterra desarrolló una herramienta de lA para predecir las califica- 
ciones de los estudiantes durante la pandemia. El modelo resultó sesgado en 
contra de las escuelas pobres. La intención fue evitar que los estudiantes tu- 
vieran que hacer un examen en la pandemia, pero con buenas intenciones no 
alcanza para hacer lA para el bien. 

La entrevista concluye con preguntas a tener en cuenta antes de iniciar 
un proyecto que se supone que usa lA para el bien: ¿Quién define el proble- 
ma a ser abordado? ¿Se incluye a diversas personas que serán afectadas por 
la tecnología? ¿Cuáles son las limitaciones de los datos? ¿Qué métricas ser- 
virán para medir progreso? ¿Quién va a tomar la decisión en base a las pre- 
dicciones? Según Sasha, estas preguntas deben hacerse y rehacerse antes 
de empezar y durante el proyecto por un equipo diverso que incluya a repre- 
sentantes de las especialidades y roles relevantes para el proyecto, siguiendo 
el espíritu de la frase “nada sobre nosotres sin nosotres”. Es fácil subestimar 
el esfuerzo de este tipo de proyecto y esa es una de las razones por las cuá- 


les más de un proyecto de lA para el bien, no hace bien, concluye Sasha. 
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La industria del software ante el surgimiento de la ética en lA 


En esta charla Matías Bordone conversa con el Licenciado en Cien- 
cias de la Computación Pablo Zivic y el Doctor en Matemáticas Leandro 
Lombardi, científicos de datos de dos empresas importantes en Argentina y 
Latinoamérica. 

En los últimos 15 años la definición de ciencia de datos ha evolucio- 
nado desde un mero análisis de datos offline hasta productos que adquie- 
ren datos en tiempo real y toman decisiones de manera directa. Los 
llamados sesgos de los sistemas de inteligencia artificial, la reproducción de 
estereotipos y prejuicios, es algo que comienza a estar en boca de los de- 
sarrolladores dentro de la industria. Ante la pregunta tácita de por qué en- 
contramos sesgos en los productos, los entrevistados opinan que puede 
considerarse que el “intento de desarrollo técnico” le haya ganado a lo que 
debería ser un desarrollo cuidado de productos. Muchas empresas se dejan 
llevar por la idea que si algo es técnicamente posible, se haga. Los entre- 
vistados opinan que si el modelo funciona peor con ciertos grupos sociales 
que con otros, no es un buen producto. 

Otro punto clave es que los desarrolladores y demás responsables 
del ciclo de producción de software se pregunten qué desean del produc- 
to. Esto lleva a los programadores a preguntarse cuál es la función que 
uno optimiza ¿Queremos optimizar la cantidad de clicks que hace la gente 
aun a costa de someter a las personas a emociones fuertes como la ira? 
Quizás podemos optimizar otra cosa, opinan los entrevistados, por ejem- 


plo “el bienestar”. 
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Si nos preguntamos qué incentivos tiene la industria en el uso de 
datos hay que distinguir entre las empresas que hacen productos propios, 
que están regulados únicamente por los marcos legales existentes, y las 
empresas que desarrollan para terceros. Estas se ven interpeladas por los 
clientes, que comienzan a ser conscientes de estas problemáticas que to- 
davía no están reguladas de forma específica. De manera general, en todas 
las empresas otro incentivo puede ser no “hacer un papelón” en la prensa, 
sumándole que de acá a un tiempo esos papelones van a tener conse- 
cuencias legales. 

Termina la entrevista con la pregunta sobre qué se puede hacer. 
Desde la industria se puede comenzar a inspeccionar sistemáticamente 
sesgos en los modelos de datos. Una parte importante es incorporar diver- 
sidad dentro de los equipos de desarrollo, que puedan ver diferentes ses- 
gos. Además, pensar una profesionalización del área, considerando que la 
dimensión ética es parte del rendimiento del sistema, es decir, si tu modelo 
discrimina, es un mal modelo. 

A modo de cierre, encontramos algunos puntos en común en estas 
seis charlas. Por un lado, identificamos la necesidad de entender que la 
tecnología no es neutral y que a raíz de ello más que generar un cambio 
termina consolidando un status quo. Esto deriva en la importancia de la di- 
versidad de perspectivas dentro de los equipos de desarrollo y de la con- 
textualización regional. Por otro lado, identificamos la necesidad del 
fortalecimiento de los estados, la demanda de transparencia, el debate y la 


participación como otro punto en común entre varias de las conversaciones. 
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Desde Fundación Vía Libre entendemos que la incorporación de 
tecnologías no puede ser un camino lineal y acrítico, romántico y tecnofíili- 
co, sino que cada abordaje debe ser respetuoso de los derechos de las 
personas involucradas, especialmente cuando se trate de derechos huma- 


nos fundamentales. 
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